Ich habe es lösen können. Bei meinen Ledger hab ich das 25. Passphrase temporär bei der Erstellung eingeschaltet als ich die Wallet erstellt habe.
Deswegen konnte ich auch nicht neu delegieren, weil dann der Ledger automatisch einen anderen Hash erzeugt ohne das 25. Passphrase. Eingegeben und zack war alles da und ich kann auch neu delegieren 