cygwinにopensshがインストールされていなければなりません。http://cygwin.com/からsetup.exeを実行し、opensshにチェックを入れインストールします。

コマンドラインから ssh-keygen を実行する。パスワードを入力し成功すると、~/.ssh/id_rsa に秘密カギが作成され、~/.ssh/id_rsa.pub に公開カギが作成される。

公開カギをサーバーにアップロードし、サーバーの ~/.ssh/authorized_keys に追加する。

例：
$ cat id_rsa.pub >> .ssh/authorized_keys

cygwinで ssh <server> -l <server-username> で接続する。

注：cygwinは日本語をうまく扱えないみたいなので日本語を扱いたい場合は poderosa などのクライアントをつかったほうがいいと思います。