サポートエンジニアのLLM活用方法とは？～トレジャーデータさんと合同でサポートエンジニアNightを開催しました～
サポートエンジニア、カスタマーサクセスエンジニア（CSE）、カスタマーリライアビリティエンジニア（CRE）など、ユーザーをエンジニアリング観点から支援する職種はさまざまです。primeNumberが提供するサービス「trocco®」はデータエンジニア向けのサービスのため、弊社も力を入れている領域です。
そんな中、2024年2月16日、トレジャーデータさまと合同でサポートエンジニアNightを開催しました！サポートエンジニアNightは、SaaS企業を中心としたサポートエンジニアのためのサポートエンジニアミートアップです。今回のテーマは「サポートエンジニアとLLM」。各社からLLMをテーマに、カジュアルな発表を行いました。今日はそのレポート記事をお届けします。
10分でわかった気になる最近の生成AI事情
まずはトレジャーデータの高橋さまから、全員のLTに先立ち、生成AIやLLMの基本的な定義や、最近の生成AI事情をまとめてお話いただきました。よくある課題として「ハルシエーション（答えがないのに嘘の情報を提示する）」を挙げていらっしゃいましたが、その後のLTでも何度もこの問題とその対処法について触れられており、非常に重要なポイントだなと改めて感じました。
SORACOM Support Bot の開発秘話
つづいてソラコムのCRE三國さまから、SORACOM Support Botの開発についてお話いただきました。SORACOM Support Botは、お客さまからの質問に対してLLMを使って生成した回答を返すBotです。このBotは素早く回答を返し、お客さまのセルフサービスを促進できるというメリットもありますが、先にも出てきた「ハルシエーション」含め、さまざまな問題も。こうしたことを踏まえて「提供する情報」「コスト」「品質への期待値」の三つを丁寧にコントロールしているという点は、色んな企業で参考にできるのではないかと思います。
Azure OpenAI Service を使って Q&A ボットを作る話
ソラコムから二人目、テクニカルライターの矢崎さまからの発表です。ソラコム社内で使われるsoracom-botをどのように改善していったのかという歴史をお話いただきました。技術的な工夫が詰め込まれており、実際にbotを開発したい方は必見のスライドです。現在ver.4までリリースされているそうで、今後の更なるバージョンアップも楽しみですね。
データエンジニアのためのテクニカルサポートとLLM
最後にprimeNumberのCSE松野尾から、データエンジニアのためのテクニカルサポートとLLMというテーマで発表しました。primeNumberが提供するtrocco®は、各システムと接続し、散らばっているデータを集めてくることができるサービスです。APIで接続するため、お客さまの環境に依存した問い合わせが多く寄せられます。そのため、お客さまご自身でエラーを解決しやすくするためにLLMを使えないかを検証しました。やはりハルシエーションの問題が大きく実用には至ってないのですが、今後も手段の一つとして常に検証していきたいと思います！
懇親会
最後は懇親会です！お酒やフードを片手に、LTの内容や、サポートエンジニアの仕事についてフリートーク。
オフラインならではのパワーが感じられ、楽しい会でした。ご参加・ご登壇くださった皆さま、共催のトレジャーデータさま、ありがとうございました！
primeNumberではCSEを募集しています！
まずはカジュアル面談からでも大歓迎です。