Нужно ли ее зажигать только когда молишься, или можно чтоб она горела всегда.

Лампада ставится  или вешается перед иконами. А зажигается либо на все время, либо на время молитвы - как хотите.

Спаси Христос!