(6/23)生成AIの平均的な正解を超えるテキスト分析

生成AIが業務で当たり前に使われる今、その限界や違和感に気づき始めている現場も増えてきています。生成AIは高精度に「平均的な正解」を出力する一方で、意思決定に必要な「透明性のあるインサイト」を必ずしも提供できるわけではありません。データ分析においても生成AIによる自動化が期待されていますが、実際は生成AIだけでは到達できない分析があります。例えば、毎日実施する分析や定型レポートなど、効率性重視の業務では、平均的な正解を高精度かつ高速に出力する生成AIは非常にマッチします。一方で、現場の意思決定や重要な投資に直結する分析では、スピードだけでなく分析の質やプロセスの透明性も求められ、現場が納得できることが重視されます。特に競合他社も当然生成AIを使っている前提では、生成AIの平均的な正解では得られないインサイトをいかに獲得できるかが競争優位の鍵になります。
本講演では、文章で構成されるテキストデータの分析を対象として、生成AI単体では到達できない分析をどのように実現するかについて、理論編と実践編と応用編に分けて解説します。理論編では、テキストデータの分析の基礎となる自然言語処理技術について、特に生成AIの基盤となるLLM（大規模言語モデル）に至るまでの各種技術について体系的に解説します。また、生成AIの得意な分析と限界を指摘しながら、生成AIだけでは困難な分析を実現する技術も解説し、それをアレンジして私が開発した分析手法「Nomolytics」についてご紹介します。Nomolyticsは、テキストデータからトピックを抽出し、それらが持つ因果関係を構造化することで、意思決定に資する要因と効果を可視化する手法です。技術的には、テキストマイニング、PLSA、ベイジアンネットワークを統合的に応用したものです。
実践編では、そのNomolyticsをVOC（Voice of Customer）と特許文書のデータに適用した分析事例をご紹介し、実務における具体的な活用方法を解説します。VOC分析では、主に顧客の声を生かして業務改善や商品企画を検討することを目的とした分析です。今回は、旅行の口コミを分析対象とした事例ですが、顧客の生の声から、顧客が求めるモノやサービスの在り方を探るための分析アプローチとしてご紹介します。特許分析では、技術のトピックや競合他社の動向を把握したり、用途と技術の関係を分析して技術の新規用途などを探索します。更に応用編では、特許分析の事例を対象に、よりディープなインサイトを獲得するために開発した拡張技術をご紹介し、その実務的な有効性を解説します。
本講演では、テキストデータの分析に生成AIを導入したものの、期待していた成果が得られていない、分析に違和感を感じる、現場で納得のいく意思決定が進まない、そのような課題を感じられている方々に新たなヒントをご提供できればと思います。