テスト技法と手法

正解がわからない、あるいは無限の入力パターンがあるAIシステムに対して有効なテスト技法です。

1. メタモルフィックテスト (Metamorphic Testing)

「入力の変化」と「出力の変化」の関係性（メタモルフィック関係）を使ってテストする技法です。

• 例: 自動運転AIのテストで、「雨が降っている画像」を入力したとき、晴れの画像よりも「認識率が下がる（あるいは変わらない）」ことは予測できますが、「認識率が上がる」のはおかしい、といった関係性でバグを見つけます。

2. バックツーバックテスト (Back-to-Back Testing)

テスト対象のAIモデルと、別の信頼できるモデル（または旧バージョン）に同じ入力を与え、結果の差分を比較する技法です。

• 正解ラベルがない場合でも、モデル間の差異（リグレッション）を検出できます。

3. A/Bテスト

本番環境で、一部のユーザーに新しいAIモデルを適用し、ビジネス指標（クリック率など）を旧モデルと比較する手法です。

• AIの評価はオフライン（テストデータ）だけでなく、オンライン（実環境）での評価が不可欠です。

4. 探索的テスト

テスターがAIと対話しながら、AIが苦手そうなケース（コーナーケース）を探り当てる手法です。

• 例：チャットボットに対して意地悪な質問や、矛盾する質問を繰り返してみる。