ユーザー理解って大変
こんにちは。データが好きすぎる梶村です。 カケハシで薬局向けの在庫管理発注システムである「AI在庫管理」というプロダクトのPdMをしています。
プロダクト開発ではユーザー理解が一番大事だと分かっていても、実際に取り組むのは本当に大変です。薬局向けのプロダクトでは、店舗によって医薬品の在庫管理の運用や発注判断はさまざまであり、定性的にさまざまな店舗の方にヒアリングさせていただきながら、定量的に機能の利用状況を調査していくのは大変な作業です。
一方でPdMがヒアリングできる店舗や業務は限定的なので、営業やCSが認識している薬局の温度感とずれが生じてしまうと、「開発チームはユーザーを理解しているのか？」という信頼感にも影響してしまいます。 そんな中で生成AIやさまざまなツールを活用しながらユーザー・プロダクト理解を実現する取り組みを紹介したいと思います！（PRD/PBIの自動作成やレビュー、marpによる資料作成など業務効率化でのAI活用にも取り組み中です！）
目次
- プロダクト・ユーザー理解を爆速化する4つの取り組み
- 仕様回答チャットボット構築と更新運用
- 薬局の生の声を誰でも確認できる仕組み
- Databricksでのquery自動生成
- Datadogでのユーザー導線分析
- まとめ
- 最後に
仕様回答チャットボット構築と更新運用
まずはユーザー理解の前提としてプロダクトの仕様をCSや営業に正確に理解いただくことが必要です。 AI在庫管理ではエンジニアチームの取り組みにより外部仕様書が整備されており、機能リリース時に修正・追記を行っています。（この外部仕様書の修正・運用の自動化も絶賛取組中です！）
僕自身も仕様について不安を感じた際にこの外部仕様書で調べることはありますが、機能が多岐にわたるため文章量も多く、パッと「この画面のこの機能の仕様ってどうだっけ？」を確認するには少しハードルがあります。
そこでDifyで仕様回答チャットボットを構築して、複雑な仕様は気軽にAIに質問できるようにしました！
外部仕様書が整備されているためシンプルなモデルで一定の有用性が確認できており、以下2点のみ工夫しています。
- 外部仕様書が適切に分割されないとRAGの精度が下がるため、画面・機能ごとに分割してナレッジ登録
- 検索した情報が不十分な場合は検索文言を変更して再度RAGを実行するLLMを用意
しかし外部仕様書にも細かい検索条件や表示順などが記載されていないことがあり、外部仕様書から仕様が理解できない場合はCSや営業はPdMに問合せすることになります。以前でしたら
エンジニア確認⇒Slackで回答 ⇒（面倒なので外部仕様書への追記などはしない）⇒しばらくして同様の質問が来る⇒・・・
という流れでしたが、Cursorを活用することで、
Cursorで仕様を確認⇒（必要あれば）エンジニア確認⇒Cursorで外部仕様書への追加・PR作成⇒次からDifyが答えられる！
という流れでクイックに回答＆質問の減少につながり、CS・営業はPdMへの確認の手間なく仕様を理解し、PdMは顧客理解に時間を割くことができています。
薬局の生の声を誰でも確認できる仕組み
AI在庫では、薬局からいただいた要望を営業やCSがSlack上に投稿するとスプレッドシート・JIRAのチケットに自動連携させて、開発内容や優先度の判断に活用しています。
Slack上でCSや営業に詳細内容の確認をするのですが、背景や温度感が正しく理解できない場合もありますし、ささいな要望も含めて漏れなくすべての顧客要望を整理してSlack投稿をすることは難しいです。そのため生の要望の声を商談時の文字起こしデータから抽出して、Slackに投稿する仕組みをDifyで作っています。
まだこれから運用という段階ですが、営業時の声をリアルに感じられ、開発チームとして参考になる情報と思っています！
Databricksでのquery自動生成
カケハシでは薬局向けにさまざまなプロダクトを提供しており、あらゆるデータをDatabricksで分析できるようにしています。 カケハシがDatabricksを採用した背景はこちら
Databricksはクラウド上で大量のデータを一元管理し、分析やAIモデル開発が簡単に行えるプラットフォームです。
Databricksが好きすぎてこれなしでは生きられない体になっています。（Databricksの回し者ではないです笑）
とくにGenieという自然言語でqueryの自動生成ができるサービスを活用しています。
Genieではあらかじめ参照したいテーブルを指定し、ドメイン知識を提供することで精度高いqueryの自動生成ができています。
精度を上げる工夫としては、star schemaを意識し、調べたいカテゴリー（発注データ、納品データ、在庫データなど）ごとにGenieを用意するとレスポンスも早く精度も高まります。
通常でしたら
データベースの仕様書を確認しながらデータがどのテーブルのどの項目にあるか確認⇒sqlの文法について調べながらqueryを書く⇒エラーと戦う⇒・・・
という流れだったのが、一瞬でデータを確認できるようになります。
リリース後の顧客の利用状況把握だけなく、顧客要望やふと感じた疑問やアイデアに対してデータを見ることが一瞬でできるため、単に業務時間が削減されるだけではなく、データを見る機会が増えユーザー理解が進むことの価値が高いと感じています。データ内容を詳しく理解しているエンジニアやPdMだけでなく、デザイナーや新任のPdMやCSも簡単にデータを把握できチーム全体でデータを見る意識が高まります。
また一時的な調査だけでなく、主要なプロダクト指標・顧客ごとの利用状況指標はdashboardで可視化しています。
日々眼の前の機能開発に集中しているとプロダクトの主要指標を見失うことがあるため、定期的に主要指標に目を向けることができ（以前の関連記事はこちら）、またユーザーと会話する際やユーザー要望を確認する際には、主要指標を見ることでより深いヒアリングが可能になります。
Datadogでのユーザー導線分析
Datadogはクラウド上のサーバーやアプリの動きをリアルタイムで1つの画面にまとめて見られる監視サービスです。
エラーなどの検知だけでなく、ユーザーの画面上での操作内容もDatadogで分析しています。
ただDatadogは機能が豊富にあり非エンジニアが機能内容を理解して使いこなすのはハードルが高く、ユーザー導線の分析をしたいと思っていつつも、あまり使えていませんでした。。
しかしわからなければAIに使い方を聞けばいいことに気づきました笑
Datadog自体にはAIチャットボット機能はありませんが、プロダクトの機能内容や分析したい課題についてAIに共有することで、親切丁寧にできることできないことを教えてもらえるため、どんなデータをどうやってDatadogで見ればいいかを教えてもらっています。
具体的にはsession replayというユーザーの動きを録画する機能で定性的な動きを確認しながら、定量的なactionやview数を分析することで定性・定量の両面で理解を深めています。
要配慮個人情報を扱うプロダクトであることから、画面の録画時のマスキングや情報のログ出力制限に慎重に設定を行う必要があり手間はかかりますが、ユーザーの要望の背景やユーザーごとの考え方の違いを理解する上で非常に役立っています。
まとめ
カケハシは医療データを扱う事業者として、生成AIの活用に向けた情報セキュリティを確保するための「生成AIサービス利用ガイドライン」を社内向けに策定しており、ガイドラインに沿って生成AI活用を進めています。
kakehashi-dev.hatenablog.com
まだまだ試行錯誤中ですが、多様なツールや生成AIを活用することでプロダクトやユーザー理解の手間が大幅に削減でき、より多角的に定性・定量の両面からユーザー理解が深まっていると感じています！
生成AIはツールに過ぎないですが、「ユーザーをもっと理解し、もっと課題を解決したい」という気持ちにAIは惜しみなく協力してくれます。
これからも、ユーザーの声に真摯に向き合いながら、日々の開発に取り組んでいきたいと思います！
最後に
採用拡大中です！！ ユーザーの課題やAI活用についてぜひお話ししましょう！
