Kotae 学習データの作成ガイド

Nutnicha Manee-in 著

2024年09月10日

AIチャットボットの性能を最大限に引き出すためには、質の高い学習データの準備が不可欠です。

本記事では、AIチャットボットの学習に最適なデータの形式や、データクレンジングの手法など、AIチャットボットに学習させるデータ準備のポイントを詳しく解説します。

データのクレンジング:

学習データから不要な情報を削除し、構造化することで、AIチャットボットはより正確な回答を生成できるようになります。

チャンク化: 大きなテキストデータを、AIが処理しやすい小さな単位に分割します。
階層化: 見出しや箇条書きを使って、データを整理します。
一貫性: データ全体の形式を統一します。

データフォーマットを整える:

AIチャットボットに与えるデータの形式も、回答のクオリティに影響します。JSON, CSV, YAML, Markdownなどのフォーマットが一般的です。これらのデータ形式は、シンプルで読みやすく、AIチャットボットが学習しやすいだけでなく、人間にとっても理解しやすいのが特徴です。

フォーマット	意味	使用例
JSON	JSON (JavaScript Object Notation)はデータを保存および共有する	JSONは、辞書のようにキーと値のペアとしてデータを表現します。JSONは、ウェブサイトやアプリで情報を転送するために広く使用されており、データを簡単に整理してアクセスすることができます。
CSV	CSV (Comma-Separated Values)は、Excelシートのようにテーブル形式でデータを保存・共有する	CSVファイルは、各人の情報を1行に書き込み、カンマで区切ることで、簡単にデータを共有することができます。CSVファイルは、異なるプログラム間でデータを共有したい場合によく使用されます。
YAML	YAML (YAML Ain't Markup Languageの略)は、人間とコンピュータの両方が理解しやすい形式でデータを書いたり保存したりする方法	YAMLは、インデント（スペース）を使用して情報を整理することで、非常にシンプルなリストや一連の指示をプレーンテキストで記述できます。 YAMLは、アプリやウェブサイトの設定ファイルなど、データを構造化された方法で整理するために使用されます。
Markdown	Markdownは、シンプルかつ読みやすい方法でテキストをフォーマットし、HTMLに変換できるマークアップ言語	Markdownは、HTMLコードを直接書くことなく、ヘッダー、太字テキスト、斜体、リスト、リンクなどを追加することができます。ドキュメンテーション、READMEファイル、コンテンツ管理システム、GitHubやRedditなどのプラットフォームで広く使用されています。