「生成AIに強い会社」の見分け方
生成AIブームで「ChatGPT 開発」「生成AIの活用支援」を謳う会社が急増しました。SES（システムエンジニアの派遣会社）から大手システム会社、AI専業の新興企業、お手軽SaaSの提供会社まで、まさに玉石混交です。
問題は、ホームページの肩書きと実力が一致しないことが多いこと。発注後に次のようなことが発覚するケースが続出しています。
- 「生成AIに強い」と書いてあるのに、検証フェーズしか経験がない
- 「ChatGPTで業務効率化」と謳うが、実態はプロンプトを書くだけのコンサルティング
- 「AIエンジニア在籍」と書いてあるが、実際は通常エンジニアの兼務
こうしたミスマッチが発生すると、検証フェーズ終了時点で詰むか、本番化フェーズで作り直しが発生します。本記事では、技術力・運用力・契約面の3軸から、発注先を見極める7つの観点を整理します。
ポイント1: 「検証止まり」か「本番運用実績あり」か
最も重要な見分け方です。生成AI開発で最大のハードルは、検証で動いたものを 業務システムとして本番運用に乗せること。ここを越えた経験があるかで実力は大きく変わります。
確認すべき質問
- 「現在運用中の生成AIシステムは何件ありますか？利用者数と利用頻度は？」
- 「検証から本番化に進んだ案件と、検証で終わった案件の比率は？」
- 「本番運用後、どんな問題が発生し、どう改善しましたか？」
赤信号: 「事例は守秘義務で言えません」だけで、業界・規模・利用者数といった抽象化情報すら出てこない場合、本番運用経験そのものがない可能性が高いです。
ポイント2: 「精度の測り方」を語れるか
生成AIで「動く」と「業務で使える」の差は、精度の測り方の設計に集約されます。良い会社は 精度の測り方とテストデータの作り方を最初に話します。
良い会社の典型的な発言
「まず御社の業務で『成功』とは何かを定義しましょう。たとえば、回答の正解率80%以上、答えに必ず参照元の資料が示される、応答時間5秒以内、不適切な回答ゼロといった基準です。それぞれの測り方と、テストデータの作り方も併せて設計します」
危ない会社の典型的な発言
「ChatGPTのAPIを叩けば賢く返してくれます。プロンプトをチューニングすれば精度は上がります」
精度の測り方を語らず、プロンプトの書き方ばかり語る会社は、業務適用フェーズで詰みます。
ポイント3: どの生成AIを使うか、根拠を出せるか
「ChatGPT を使います」「Claude を使います」だけでは答えになっていません。なぜそれを選ぶかの根拠を聞きましょう。
判断軸の例：
- 日本語の精度（業務文書・専門用語に強いか）
- 長い文章を一度に扱えるか（社内資料を読み込ませるなら重要）
- 応答の速さ（リアルタイム性が必要か）
- 毎月の利用料の見込み（モデルによって単価が3倍以上違う）
- 御社のデータが学習に使われない契約か（機密情報を扱うなら必須）
良い会社は、複数の生成AIで実際に試した結果を比較表で見せられます。「とりあえず ChatGPT で」と即答するだけの会社は、検証経験が浅い可能性があります。
ポイント4: 社内データ参照の仕組みを具体的に説明できるか
「社内のマニュアルやFAQを読んで答えてくれるアシスタント」を提案された場合、その仕組みを必ず聞いてください。
確認項目 | 聞くべきこと |
|---|---|
データの保管先 | どこに置く？日本国内か、海外か |
データの取り込み方 | どの粒度で分けて格納するか、その判断根拠 |
検索の仕組み | キーワード検索だけか、意味で検索するか、両方併用か |
精度の測り方 | 「想定質問にどれだけ正しく答えられたか」をどう数値化するか |
機密文書の扱い | 社外秘や個人情報をどう除外・マスキングするか |
赤信号: 「社内資料を放り込めば動きます」「定番のツールを使うので大丈夫です」だけで具体的な選定理由・代替案が出てこない場合、深く検討していないサインです。
ポイント5: セキュリティ・データの扱いを具体的に説明できるか
社内データを生成AIに渡す以上、データの行方は最重要事項です。
最低限確認すべきこと
- 御社が入力したデータが、生成AIの学習に使われない契約形態になっているか
- ログの保存期間と保存場所（日本国内 / 海外）
- 個人名・金額・社内IDなどの機密情報を自動で隠す仕組みがあるか
- 誰がいつ何を質問したかの記録（監査ログ）が取れるか
- 不適切な質問・回答の検出と遮断の仕組みがあるか
ここを「ベンダーに任せています」「大丈夫だと思います」で済ませる会社は、業務利用の経験不足です。
ポイント6: 月額利用料の負担形態が明確か
生成AIには毎月の利用料が発生します。月数万〜数十万円規模になることが多く、誰が負担するかは契約上の重要論点です。
主なパターン：
- 御社が直接契約: 利用料は御社のクレジットカードで直接支払い。最も透明、推奨
- 受託会社が立替・実費請求: 受託会社が支払って実費で御社に請求。月次の利用レポート必須
- 月額固定: 利用量が増えても固定料金 → 受託会社がリスクを負う前提
- 明記なし: 後から請求で揉める典型パターン、要注意
良い会社は、契約締結前に必ず月額試算と請求形態を提示します。「使ってみないと分からない」で曖昧にする会社は避けるべきです。
ポイント7: 運用継続の体制
生成AI開発は、納品して終わりではありません。
- 使用している生成AIの世代交代対応（ChatGPT も Claude も新世代に切り替わる）
- 追加データの取り込みと反映
- 業務側の追加要望への対応
- 回答品質の継続的な改善
これらを継続できる体制があるかが運用継続性です。
運用継続性で確認すべきこと
- 専属で対応するエンジニアは何名か、兼務か
- 担当エンジニアが退職した場合の引き継ぎ体制
- 使用している生成AIが廃止された場合の移行費用は別途見積もりか
- 3年間運用するとして、年間どれくらいの保守工数を見積もるべきか
個人クラウドソーシングに再委託する会社や、エンジニア1人体制の会社は、長期運用にリスクがあります。
まとめ: 比較表で意思決定する
最終的には、複数社の見積もりを以下のような比較表に整理することを勧めます。
観点 | A社 | B社 | C社 |
|---|---|---|---|
本番運用実績の件数 | |||
精度の測り方の提示 | |||
使う生成AIの選定根拠 | |||
社内データ参照の仕組み | |||
セキュリティの説明 | |||
月額利用料の負担形態 | |||
運用体制（人数・継続性） | |||
初期費用 / 運用月額 |
技術力よりも 「検証終了後にどうサポートし続けるか」で差がつきます。一番安い会社が最終的に高くつく構造になりやすいので、長期運用前提で評価してください。
Beekleにご相談ください
Beekleでは、生成AI／CDP／業務システムの企画・要件定義・開発・運用までワンストップで支援しています。「何を作れば成功か」の整理、検証フェーズの設計、本番化判断まで、発注側の判断材料が揃うように伴走します。費用感の概算だけでも歓迎です。