お客様がチャットボットに「何時に閉まりますか？」と聞きます。
チャットボットは「午後8時です」と答えます。でも、実際の閉店時間は午後6時です。お客様が7時に来ると、ドアは閉まっていて、そのまま二度と来てくれません。
AIチャットボットの導入を考えるとき、多くの企業が心配しているのがこの『誤った回答』です。ソニービズネットワークスが2025年12月に中堅企業のIT担当者100人を対象に行った調査では、最も多かった懸念は「AIが誤った回答をすること」（37.0%）でした。
どんなAIも完璧に回答することはできません。でも、お客様より先にミスを見つけることができます。この記事では、Kotaeチームが「LangSmith」というテストツールを使ってどのようにテストしているか、そしてコードを一行も書かない方でも役立つポイントをご紹介します。
AIチャットボットのテストとは？
AIチャットボットのテストとは、本番の前に、AIに「試験」を受けさせることです。新人スタッフが、お客様の前に立つ前にロールプレイで練習するのと同じです。
従来のツールでは、同じ質問なら毎回同じ回答をします。でも、AIはちがいます。同じ質問でも、状況に応じて答えが少し変動します。LangSmithの公式ドキュメントでも、プロンプトやモデルを少し変えただけで、結果が大きく変わることがあると説明しています。
だからこそ、AIのテストは一度やって終わりではありません。何かを変えるたびに、くり返しテストをすることが大切です。
LangSmithとは？
LangSmithのトレースダッシュボードにより、本番環境と開発環境におけるエラー率やレイテンシ指標をリアルタイムで監視します。
LangSmithは、AIアプリを作るチームのためのテストと見守りのツールです。LangChainという会社が作っています。主な機能は2つです。
記録（トレース）：AIが答えを出すまでの流れを、一歩ずつ残します。
採点（評価）：AIの答えに点数をつけて、良し悪しを数字で見えるようにします。
テストには、3つの材料が必要です。
データセット：テスト用の質問と、正しい答えの例
テストする対象：AIチャットボット全体、またはその一部
評価者（エバリュエーター）：答えに点数をつけるしくみ
データセット、テスト対象のAI、評価基準を組み合わせ、AI応答の精度とパフォーマンスを体系的に評価・検証します。
つまり、従来の一般受験と同様に「問題用紙」「受験者」「採点者」の3つがそろえば、AIの試験ができます。
AIの回答は、どうやって評価する？
採点のやり方は、大きく3つあります。
ルールで採点：「答えに正しい電話番号が入っているか」など、はっきり判断できることをチェックします。
AIがAIを採点（LLM-as-a-Judge）：別のAIに「この答えは質問に合っている？」と判断させます。たくさんの答えを速く見られます。
人が採点：大事な場面や、判断がむずかしい答えは、人の目で確認します。
LangChainの調査「State of Agent Engineering」（2025年11〜12月、1,340人）によると、評価をしているチームの59.8%が人によるレビューを、53.3%がLLM-as-a-Judgeを使っています。広く速く見るのはAI、深く見るのは人。AIによる評価と人によるレビューを組み合わせるチームも多く見られます。
KotaeはLangSmithでどうテストしている？
実験ダッシュボードにより、複数回のテスト実行における評価スコア、レイテンシ指標、トークン消費量を一元的に可視化・比較します。
Kotaeの開発チームは、LangSmithを使って、次の流れを繰り返しています。
テスト用の質問集をつくる：営業時間、料金、予約方法など、お客様が実際に聞きそうな質問を集めます。
更新の前に、全部テストする：プロンプトやモデルを変えたら、質問集を全部流して採点します。
前のバージョンと点数を比べる：点数が下がったら、原因を直してから、もう一度テストします。
公開後も会話を見守る：本番の会話を記録して、おかしな答えがないかチェックします。
見つけた問題を質問集に足す：同じ間違いを二度としないように、次のテストに加えます。
大事なのは5番です。テストの質問集は、使うほど強くなります。
Kotaeの5段階テストプロセスは、実際の会話から得られた課題をデータセットへフィードバックし、継続的な改善サイクルを実現します。
公開前のテスト（オフライン評価）と、公開後のチェック（オンライン評価）の両方をするチームは、まだ多くありません。同じLangChainの調査では、オフライン評価をしているのは52.4%のチーム、オンライン評価は37.3%のチームでした。
テストすれば、ハルシネーションはなくなる？
正直に言うと、ゼロにはなりません。ハルシネーションとは、AIがもっともウソらしい答えを出してしまうことです。今のAIの仕組みでは、完全になくすことはできません。
でも、テストをすれば次のことができます。
まちがいやすい質問を、公開前に見つける
直したあと、本当に良くなったかを数字で確かめる
新しい変更によって、以前は正しかった答えが変わっていないか確認する
LangChainの調査でも、AIを本番で使ううえでいちばんの壁は品質でした（32%）。品質は、モデルを選んだら終わりではありません。テストで守り続けるものです。
テストしないAIは、研修なしで接客に出る新人と同じです。
KotaeのAIが、あなたのお店によくある質問にどう答えるか、まずは無料で試してみませんか？
Kotaeを無料で試す
あわせて読みたい
AIチャットボットのテスト方法：より正確な回答を届けるために
AIチャットボットの回答を、毎回安定させるには？KotaeがLangSmithで行うテスト方法を紹介します。
客室からの内線問い合わせ、なぜそのたびにフロントの手が止まるのでしょうか？
客室からの内線がフロント業務を中断させる理由と、QRチャットで宿泊者が自己解決できる仕組みを解説します。
チャットボットが賢くなったのに、点数が下がった理由
採点するAIが原因だった理由から、正しさを確かめる質問の作り方、今日からできるチェックリストまで学べます。
Kotaeのデザイン:使いやすいAIチャットボットのために、私たちが選んだ4つの判断
なぜ従来のサポートツールは使いにくいのか？「Kotae」デザイナーが、使いやすさを重視した4つの設計判断を解説します。