Donner le rôle admin à un User

Hello !

Connecté en tant qu'Admin et dans un espace admin,

je souhaiterais attribuer le rôle administrateur à un User.

J'ai donc un bouton sur lequel je click, si le User est admin sa lui enlève l'Admin si il ne l'es pas il le devient !

    /**
     * @Route("/admin/user/grade/{id}", name="grade_admin")
     */
     public function grade_admin(User $user, EntityManagerInterface $em)
     {

        if($user->getRoles(['ROLE_ADMIN'])){
            $user->setRoles([]);
            $em->flush();
        } elseif{
            $user->setRoles(["ROLE_ADMIN"]);
            $em->flush();
        }

        $this->addFlash('success', "La modification a bien été pris en compte");
        return $this->redirectToRoute('admin_users');
     }

Mais il se trouve que je peux enlever le role Admin sans soucis, mais pas l'attribuer.
Je pense que Symfony me bloque par sécurité.

J'avais déjà eu le cas avec le changement de mot de passe, mais en passant par un form je n'avais plus eu de problème.
Auriez-vous une idée ou une solution ?

Merci beaucoup !
S2LF