パスワード無しでsshでログインできるように設定したはずが、"Agent admitted failure to sign using the key."というエラーになる件。

クライアント側（端末側）で

ssh-add ~/.ssh/id_rsa

として秘密鍵を認証エージェントに追加。