過去長年に渡る、プロジェクトの実行を通して得られた施工設計・施工技術管理の知見情報を効率的に活用するため、Azure OpenAI Serviceを用いたチャットボットを開発しました。

これにより、キーワード検索で関連情報を迅速に出力でき、業務の効率化に貢献。同様に、施工情報以外にも、技術部内で蓄積してきた6000件以上の技術資料や、設備の整備記録もチャットボット化し、容易に検索できるようにしています。

開発までの経緯

とあるプロジェクトの初期段階から参画していたこともあり、過去の経緯や情報の保管場所に関する問い合わせをプロジェクトメンバーから頻繁に受ける立場でした。近年、メンバーの入れ替わり等で、同様の問い合わせを受ける機会が増加していました。大抵の情報は文書やエクセル形式で保管されているにもかかわらず、情報量が多くかつ保管先も統一されていないこともあり、メンバーがその情報にたどり着けず、結局有識者にヒアリングするという状況でした。そこで、生成AIを活用すれば、双方の負担が減り業務効率化につながるのではないかと考えていたタイミングで、会社がAzure OpenAIを導入したため、データサイエンス室と一緒にチャットボット開発に取り組むことにしました。

開発から実装までの課題

【ロジック】現在、インターネットでチャットボットについて調べると、RAG（検索拡張生成）^※の事例が多く見受けられます。しかし、開発を決定した当初は、ネット上に事例が少なく、文章をそのままLLM（Large Language Models）に読み込ませる方法や、情報ごとにChatGPTでタグ付けを行う方法、テキストデータを数値ベクトルに変換して処理する方法など、複数検討しました。最終的にはテキストデータをベクトル化する方法がRAGにとって効果的であると検討していく中で学びました。初期の段階では、出来上がったチャットボットの精度が不十分で、複数のLLMを試したり、テキストデータの前処理を行うなど、精度向上に努めました。

【ユーザーインターフェース】チャットボットを開発したものの、アクセスするためには各人のAWS SageMakerから立ち上げる必要があり、このひと手間のために一部のメンバーしか使わないという問題もありました。データサイエンス室による”社内アプリストア”の環境が整った段階でアプリ登録し、AWS SageMakerを立ち上げなくても誰でもチャットボットにアクセスできるよう改善を行いました。

※　RAG（Retrieval-Augmented Generation、検索拡張生成）は、LLMのテキスト生成に、信頼性の高い外部情報の検索を組み合わせることで、プロンプトだけではコントロールしづらい出力精度を向上させるフレームワークのこと。

周囲の反応

例えば、施工回数が多く、情報量が多いアイテムについては、検索段階である程度絞り込んだ文章を入力しないと期待した回答が得られないというフィードバックはありました。一方で、久々に施工するアイテムの場合、過去情報や適切な有識者を探すのにも時間がかかるため、このチャットボットが役に立ったとのことでした。

今後の展望

チャットボットについては外部のサービスも多々出てきており、回答精度や回答速度が良いものも多いです。そのため、現在のチャットボットを今後も使い続けていこうと固執しているわけではありません。

今回の経験を通して、部分的ですが生成AIを活用したプログラム開発について理解でき、その他のプログラム開発にも役立てることができています。