陪审员回避由法官决定吗

陪审员回避由法官决定吗