チャットボットの回答精度を向上させるには？自然な会話への解決策について紹介

人間に代わり問い合わせや質問への対応を行うチャットボットについては、人手不足の解消や顧客満足度の向上への貢献が期待されています。しかしそこで大きな課題となるのが、回答の精度です。日本語の言語的な特徴として、曖昧さや表記揺れが多いことが挙げられます。同じ言葉でも利用者によって表記が異なることも避けられません。この多様性が、チャットボットでは回答精度のネックとなります。ここではチャットボットの日本語能力と言語処理について解説し、精度向上のための情報を紹介していきます。

AIチャットボットの回答の仕組み

チャットボットは「アプリケーション」と「ボット（bot）」といわれるシステムをAPIで連携し、ユーザーの質問への回答をテキストや音声で返すという働きをします。APIとは、異なるソフトウェアやサービス間をつなぎスムーズに処理を行うためのインターフェースです。

AIチャットボットでは、以下のような流れで作業が行われます。

1．ボットアプリケーションで利用者の入力を受信
2．音声・言語解析
3．キーワードの抽出
4．データベースをもとにしてAIが関連事項を解析・質問内容を理解する
5．ロジックにより最適解を出力する
6．ボットアプリケーションに返す
7．回答がテキストで表示または音声で返される

AIチャットボットでは、あらかじめ質問に対する回答が設定されているシナリオ型とは違い、AIがキーワードから質問を類推して、最適解をロジックによる処理で導き出しています。

①自然言語処理とは

AIチャットボットの応答では、人間の「話し言葉」を理解するために自然言語処理が行われています。「自然言語」は日常的な会話に使われる言語で、「話し言葉」や「書き言葉」のことです。これに相対するものとして、プログラミング言語があります。

自然言語処理（Natural Language Processing：NLP）とは、自然言語を解析する作業です。機械で処理を行い、入力された言語から質問の内容を抽出します。

自然言語処理は、以下のステップによって行われます。

▶形態素解析：動詞、名詞、形容詞などの品詞（文中の最小単位）に分解する


▶構文解析：主語、述語、目的語に分類する

▶意味解析：構文解析をもとに各単語の関係性を判断する

▶文脈解析：周囲の文章に関する形態素解析や意味解析を行い、関係性を判断する

日本語における「揺れ問題」の原因

自然言語、つまり人間が日常的に使う言葉は、もともと表現が多様性に富んでいます。人間は話したり書いたりする際、自然のうちに表現を選び、自由に組み合わせて伝えたいことを表します。日本語では多様性が特に顕著であるとされており、チャットにおける表記にはその傾向が大きく表れます。同じ質問であっても、人によって書き方が異なるのはそのためです。

日本語の揺れの例としては、以下のようなものがあります。

▶文字の種類の多様性（ひらがな・カタカナ・漢字）による違い：「きれい・キレイ・綺麗」「おたふく・オタフク・お多福」「あり・アリ・蟻」など

▶漢字の字体による違い：「斉藤・斎藤・齊藤」「学・學」「辺・邊」など

▶送り仮名：「受付・受け付け・受付け」「割引・割り引き」など

▶外来語表記：「プリンタ・プリンター」「データ・データー」「サーバー・サーバ」など

▶略語：「「取扱説明書と取説」「自動販売機と自販機」など

▶表記揺れ：「空き缶・空缶・空カン」「一カ月・一ヶ月・一箇月」など

▶ユーザーごとの表記の違い：「顧客・お客様・ユーザー」「書類・書面」など

チャットボットの精度を上げるためには

精度向上のポイントには以下のようなものがあります。

▶恒常的なPDCAサイクル

上記のような日本語の特性に対応し、精度の高い回答を与えていくためには、恒常的にPDCAサイクルを回していく必要があります。適切なKPIの設定を行い、効果検証を継続できる体制を整備します。正答率のモニタリングを行い、ユーザーの質問に対する回答への満足度をチェックしながら、改善に向けて取り組んでいくことが大切です。

なお、チャットボット運用において、一度に完璧にするのは困難です。チャットボット公開前の正答率を参考とし、段階的な向上を目指していきます。

AI部分の改善に関しては、チューニングが難しく、PDCAがうまく適用できないタイプがあります。課題をあぶり出しながら改善を重ねるためには、扱いやすいチャットボットを選択することが重要です。

▶自然言語処理能力の高いチャットボットサービスの選択

チューニングの問題と同様に、チャットボットサービスによって処理能力にそれぞれ大きな差があります。サービス選択時には、自社の事業に近い事例を見るようにし、その実績を判断基準とします。

▶単語登録数の多い辞書の活用

チャットボットが使う辞書の単語登録数の多さで、対応の幅広さが決まります。自社のチャットボット運用に必要となる、固有辞書の追加の容易さもサービス選択のポイントです。柔軟な対応ができ、専門的なメンテナンスが施されているサービスを選ぶことで、自社ニーズに合わせたチャットボット運用が可能となります。

「揺れ」に強いチャットボットの研究が進んでいる

回答精度を向上させるため、表記の「揺れ問題」を克服すべく研究が進んでいます。ここではAIチャットボット開発を行う、「ワークス徳島人工知能NLP研究所」について紹介します。

①ワークス徳島人工知能NLP研究所について

ワークスは世界で初めて人工知能を搭載したビジネスアプリケーション「HUE（ヒュー）」を発表し、2015年12月から提供を開始しています。

2017年2月には、「ワークス徳島人工知能NLP研究所」を四国の徳島県に開設。HUEに蓄積されるオペレーションログを有効活用し、よりユーザーニーズに即したAI機能を実用化するために自然言語処理を活用した研究開発を実施しています。

徳島研究所では、自然言語処理のなかでも特に日本語処理に力を入れた研究開発が進められています。主な研究開発としては、以下のようなものがあります。

・さまざまな業務シーンを想定したチャットボット

・入力業務を効率化するインプットレス技術・画像処理技術の研究開発

・企業内データを活用した生産性向上のためのAI機能の研究開発

②徳島研究所における開発成果

同研究所では国内最大規模の日本語言語処理のための辞書「SudachiDict」を開発し、違和感のない会話実現に貢献しています。人工知能を搭載したERPシステム「HUE」の開発においては、ユーザビリティを重視し、汎用（はんよう）性を広げています。 徳島研究所の研究開発は、層が薄かった業務システム分野の技術を大きく進化させました。2020年10月には、SudachiDictをOpen Data on AWSにて公開。さらに2021年2月からは、AI対話ツール「HUE Works Suite DX Solutions Chatbot（HUE Chatbot）」の提供を開始しています。

さまざまな業界のシステム・サービスに組み込まれているSudachiDict

SudachiDictとは、徳島研究所が開発した日本最大規模の、自然言語処理辞書です。

専門家の手によってメンテナンスされた290万語以上の語彙を収録しており、さまざまな利用シーンに合うように3種類の区切りを用意しています。例えば「ワークス徳島人工知能NLP研究所」を、どの単語で区切ってもAIが的確に理解できるよう設計されています。

SudachiDictは、文字種・送り仮名・誤記・固有名詞に対してすべて正規化しており、ユーザーごとの表記の違いや日本語特有の揺らぎや曖昧さにも、高い精度で対応することができます。さらに、約6万語の同義関係を詳細化した同義語情報を付与。全文検索をはじめ、さまざまな用途に利用が可能です。

継続的に語彙の拡充・整備を続け、常に最新の辞書を提供していることで高い信頼性があり、医療業界の幅広いニーズ・ドメインに対して多様なサービスを提供している「エムスリーグループ」、人材紹介や事業承継など幅広く事業を展開する「リクルートホールディングス」、インターネットを介して広告や金融事業を「GMOインターネット株式会社」などでも採用されています。

日本語の多様性に対応できるチャットボットの選択を

日本語は世界のなかでも表現力が豊かな言語として知られています。しかしときにはその多様性が、壁となってしまうこともあります。チャットボットによる対応では、機械が人間の自由な表現を正しく理解しなければなりません。チャットボット運用を成功させるためには、回答に高い精度が求められます。SudachiDictはそうした日本語の揺らぎに的確に対応し、チャットボットによる満足度の高い会話を実現します。チャットボットに高い正答率と自然な会話を求めているのならば、ぜひ導入を検討してみてはいかがでしょうか。

「HUE Chatbot」はワークス徳島人工知能NLP研究所で開発したSudachiDictを備えています。日本語における揺らぎや曖昧さに強いだけではなく、一部人がノーコードで手を加えることもできるといったように、PDCAサイクルの構築も容易です。ご紹介資料がございますので、ぜひご覧ください。