プリコネでプリンセスキャラって星をあげた方が良いでしょうか？

基本的に上げるだけの余裕があるならば、となります。
ただし、大体の場合「専用装備がある場合、専用装備を付けているならば」が先につきます。

プリコネにおいて一部のキャラを除いて星上げはHP確保のために行います。
星を上げても火力がとんでもなく上がる、とかとても強くなる、というようなことは一部のHPが火力に直結する例外キャラを除いてありません。
なので、前に出るタンクキャラなどは星をどんどん上げていく方が良いですが、後衛、特にサポートキャラは無理に上げる必要はありません。
勿論「攻撃を集中されてやられてしまう」という状況などならばあげた方が良いですが、その場合も編成見直しで大体どうにかなったりします。

基本的に専用装備優先ですね、それから女神の秘石やメモピがあるなら星5でも良さそうです。
あと、星4なら上げてもメリットはあまりないので、すぐ上げるなら星5にしたいですね(星5にすれば星を変えられるようになるので)