AWS CLI SSM経由でteratermからSSH接続できない
かなりはまりましたが、キーペアの作成方法が間違っていました。
teratermの4.96あたりのバージョンではRSAで作成されたキーペアでは、EC2に接続できませんでした。
下記のようにED25519で作成することでteratermを使ってSSM経由のSSH接続することができました。

まず、以下のように形でEC2に接続できることを確認。
aws ssm start-session --target i-xxxxxxxxxxxxxx
次に下のコマンドをwindowsで実行し、ポートフォワーディングを実施。teratermからlocalhostのポート56789経由でEC2に接続をします。
その際にED25519で作成されたpemを使用すると接続できるはずです。
aws ssm start-session --target i-xxxxxxxxxxxxxx--document-name AWS-StartPortForwardingSession --parameters portNumber="22",localPortNumber="56789"