AIテストの概要と課題

AIシステムをテストする際、従来のソフトウェアテストでは直面しなかった新しい壁にぶつかります。

1. テストオラクル問題 (Test Oracle Problem)

AIの出力が「正解かどうか」を判断するのが難しい問題です。

• 例：AIが描いた絵が「美しいか？」、翻訳結果が「自然か？」
• 対策：メタモルフィックテストの使用や、複数のモデルと比較する（バックツーバックテスト）。

2. 非決定論的動作 (Non-determinism)

AI（特に確率モデルや強化学習）は、同じ入力に対しても、実行するたびに異なる結果を返すことがあります。

• これにより、リグレッションテスト（再テスト）が非常に困難になります。

3. 敵対的攻撃 (Adversarial Attacks)

人には見えないノイズを画像に乗せることで、AIを騙して誤認識させる攻撃です。

• 例：パンダの画像に微小なノイズを加えると、AIが「テナガザル」と誤認する。
• セキュリティテストの一環として、こうした攻撃への耐性（ロバストネス）を確認する必要があります。