【対象：旧バージョンhitTOからHiTTOへの移行ユーザー様】
「精度チェック」画面では、質問に対してAIが返す回答と、その確信度を確認する画面です。稼働中のモデルだけでなく、準備中のモデルの精度も確認することができるため、「モデル切替」前、つまりユーザーに公開する前に精度テストをしていただくことが可能です。精度チェック画面で入力した質問は、質問パターンに追加することもできます。
※確信度とは、質問に対してAIが返す回答の有効性の度合いを指します。
※本機能は、旧バージョン「hitTO」の確信度チェックに該当する機能です。
本記事では、モデルの精度を確認する手順について、ご紹介いたします。
●モデルの精度を確認する
1. 管理画面の左メニュー「ナレッジ」をクリック
2. ナレッジ画面の右メニュー「精度チェック」をクリック
3. テストしたい質問文を入力し、Enterキーを押す
入力できる文字数は100文字以内です。
質問入力欄の下に表示されている閾値は、モデル管理で設定したノーアンサー閾値が表示されます。なお、ノーアンサー閾値は、ルームごとに設定できます。
※複数回答表示機能をONにしている場合は、「公開中の回答から最大4件をチャット上で表示します。」という文言が表示されます。
4. 表示された回答と、確信度を確認
質問に対して、AIが返す回答と確信度を確認します。左側には、稼働中モデルに質問をした結果が表示され、右側には、準備中モデルの結果が表示されます。
「準備中モデル」は、学習済み且つモデル切替前の状態で、確信度をチェック することができます。（ナレッジ画面右上のステータスが「モデル切替」の場合のみ）
※準備中モデルは学習済みのデータをもとに回答を表示しているため、学習後にナレッジ画面で編集した質問パターンは、準備中モデルには反映されていません。最新の質問パターンを反映させるには、学習が必要です。
※ナレッジ画面右上のステータスが「モデル切替」以外のステータスの場合は、稼働中モデルの結果のみが表示されます。
公開中かつ、閾値を超えている回答の中で、最も確信度の高い回答が黒字で表示されます。
学習データに登録済みの回答タイトルや質問パターンと同一の内容を精度チェック画面に入力すると、該当する回答が確信度100％として表示されます。
プロフィール回答の表示をONに設定し、プロフィール回答が返されるキーワードを精度チェックに入力すると「プロフィールが表示されます」と表示されます。
プロフィール回答が表示される質問文の条件一覧は、こちら をご参照ください。
プロフィール回答の表示をOFFに設定した場合は、閾値を超えている回答の中で、最も確信度の高い回答が黒字で表示されます。
学習データの中に雑談用の回答をご用意していただき、学習済みモデルに切り替えることで、上記の条件をクリアした回答タイトルが表示されます。
5. 質問を追加
精度チェック画面で入力した質問は、登録済の回答に質問パターンとして紐付けることができます。紐付ける方法は、以下の通り2パターンあります。
① 精度チェック画面に表示された回答に紐付ける
② 精度チェック画面に表示されなかった回答に紐付ける
① 精度チェック画面に表示された回答に紐付ける
精度チェック画⾯で⼊⼒した質問を、表⽰された回答に紐付く質問パターンとして登録する場合は、 回答の横に表示されている「＋」をクリックします。
② 精度チェック画面に表示された回答以外に紐付ける
正しい回答が、精度チェック画⾯に表示されなかった場合、「紐付ける回答を選択」から、キーワードを入力して紐付けたい回答を検索し、クリックします。
回答名の横の「＞」から回答テキストを確認して、「追加」から紐付けることもできます。
※追加された質問は、回答の質問パターンに反映されます。サジェスト表示の初期値はOFFになっているため、質問候補としてチャット画面に表示させたい場合は、サジェスト表示をONにして下さい。
※精度チェック画面から、新しい回答を追加することはできません。
※既に、該当の回答もしくは他の回答に同一の質問パターンが紐付いている場合には、「紐付ける回答を選択」にすでに紐付いている回答が表示されます。
※別の回答に紐付け直しをすると、新しい回答に質問パターンが紐付き、元の回答の質問パターンからは削除されますので、ご注意ください。
6. 学習を開始、学習済みモデルに切り替え
質問パターンを紐付けた際は、学習が必要です。ナレッジ画面右上の「モデル作成」または「モデル作成前」をクリックします。学習の完了後は、「モデル切替」をクリックします。
※詳細の手順は 学習を開始する、学習済みモデルに切り替える をご参照ください。
▽学習を開始するため、「モデル作成」または「モデル作成前」をクリック
▽学習の完了後は、「モデル切替」をクリックし、実行をクリック
●お問い合わせ先
操作や機能に関するご質問は、下記までお気軽にご連絡ください。
株式会社マネーフォワード HiTTOサポートセンター
（平日9時30分〜18時30分、祝日/弊社休業日を除く）