AIに「正解」を教える
—MS1のゴールデンデータセットの実践

AIというのは不思議なもので、デモの場ではきれいに動いても、いざ現場に出すと挙動が安定しない、ということが起こります。想定外の入力や、デリケートなコンテンツ、専門的な言い回しになると、とたんに期待どおりに動かなくなる。また、チームがプロンプトやモデル、それを支える基盤を更新するたびに、その挙動が変わることも珍しくありません。

ゴールデンデータセットは、「AIはどう振る舞うべきか」を一貫した形で定義することで、そうした変更が性能を高めたのか、逆に弱めたのかを、複数のAIユースケースにわたって測定する手段をMS1に与えてくれます。

「良い」とは何かを定義する

ゴールデンデータセットとは、人の目でレビューを重ねて厳選した、入力と期待される出力のセットです。プロンプトやモデル、インフラといった裏側の要素が変わっても、AI機能を評価するための安定したベンチマークとして機能します。

MS1では、まず各分野の専門家が社内のデータソースをもとに初期のテストケースをつくり、そこに本番環境で観測された複雑なエッジケースや失敗パターンを加えて広げていきます。システムが新しい状況に出会うたびに、データセットも育っていく。そんなイメージです。

ポイントは、実装と評価を切り分けていること。そうすることで、モデルやプロンプトは自由に進化させながらも、期待される挙動だけは明確で、測定可能な状態に保てます。

実践としてのゴールデンデータセット：AI自動採点

MS1のスキルアカデミーでは、学習者は各コースでプロジェクトを提出して学習を進めていきます。このプロジェクトは、学んだ内容を実際のシナリオでどこまで応用できるかを試すもの。そして、その自由記述形式の提出物を、コースごとのルーブリックに照らして評価し、1分とかからず詳細なレビューを返してくれるのが、AI自動採点です。

このAI自動採点において、リリース前はもちろん、システムが進化していく過程でも、正確性・一貫性・安全性を評価する中核を担っているのが、ゴールデンデータセットです。

• コースごとに明確なルーブリック：各コースには、学習目標に合わせて明確に定義された合格／不合格の基準があります。「コースの内容をうまく応用できている状態」とはどういうものか。その曖昧さを取り除きます。
• 代表的で、かつ難易度の高いテストケース：インストラクショナルデザイナーが、ルーブリックの項目ごとにテストケースを作成。さまざまな提出パターン、よくある間違い、意図的な失敗、既知のエッジケースまで、幅広くカバーします。
• リリース前の厳格な検証：自動採点システムは、ゴールデンデータセットに対して繰り返しテストされ、正確性・安定性・一貫性が確かめられます。学習者に提供してよいと認められるには、期待される結果と少なくとも95%の一致が条件です。
• リリース後の継続的な改善：評価はリリースしたら終わり、ではありません。新しいパターンやエッジケースが見つかるたびにゴールデンデータセットへ追加し、自動採点システムを調整して、あらためて検証していきます。

ゴールデンデータセットが支えるのは、精度だけではありません。検証と安全性評価のプロセス全体を通じて、言語・文化・ブランドとの整合性も担っています。MS1では、文化やブランドの期待に合わせたサンプルを使い、英語と日本語で、それぞれレビューが安全かつ文化的に適切で、ブランドに沿ったものになっているかをテストします。

たとえば、直接的な否定を繰り返すような表現は、日本の学習の場では、学習者を必要以上に萎縮させてしまうことがあります。こうしたテストを重ねることで、レビューが学習者のもとに届く前に、明確で、建設的で、敬意があり、その場にふさわしいものになっているかを確かめています。

実際に、500人を超える学習者が参加し、2,800件以上のプロジェクトが提出された4週間のブートキャンプでは、AI自動採点のおかげで、提出物あたりの採点コストが98%以上、1,200時間を超える講師の作業が節約されました。しかも、採点品質は一貫して保たれたままです。

MS1全体で活用されるゴールデンデータセット

ゴールデンデータセットの活用は、AI自動採点にとどまりません。MS1のさまざまなAI機能を支えています。

• スキルインテリジェンスでは、職務内容や職歴、ユーザーが入力したスキルが、正しい概念として抽出・マッピングされているかをテストするのに役立ちます。
• スキルの変換とマッチングでは、モデル同士を比べ、正しい対象がきちんと推奨結果のなかに現れているかを検証できます。
• 人材データの調査・分析では、分析結果を公開する前に、タスクやイベントをどう分類するか、一貫した正解基準を確立します。

領域は違っても、根本の原則は同じです。重要なAIの挙動は、ユーザーに届く前に、人の目でレビューされた明確な期待値に照らしてテストする。そして届けたあとも、本番環境からのフィードバックをもとに、改善を続けていきます。

信頼できるAIを支える、より大きなフレームワーク

ゴールデンデータセットは、AIガバナンスの重要な一部です。ただし、その価値が発揮されるのは、偏りのない代表的なサンプル、明確に定義された正解、そして緻密に設計された評価の仕組みがあってこそ。MS1では、ゴールデンデータセットを単独で使うのではなく、モニタリング、人によるレビュー、リスクアセスメント、安全性チェック、明確な責任体制、継続的なフィードバックと組み合わせて機能させています。

MS1のAIを使うとき、最終的な意思決定と行動の責任は、あくまで人にあります。「AIはどう振る舞うべきか」——その明確でテスト可能な基準を、AIがユーザーに届く前も、進化を続けるなかでも、変わらずチームに示しつづける。ゴールデンデータセットは、その考え方を実践に移すための、確かな一歩なのです。