SentinelがTruthScanでAIを悪用したマーケットプレイス不正を止めるまで

Sentinelのパイプラインは完全にAI生成された画像は捉えます。そこは比較的容易です。難しいのは、実写真のわずかなAI加工—例えば本物のジャケットにデジタルでシミを足したり、本物の画面に傷を合成したりする—を検出することです。Allegroで不当な返金請求を招いているのはこのタイプの不正であり、Sentinelが試した他の検出器はここでことごとく失敗しました。

不正検出では、結果は常に二値です：本物か偽物か。正当な購入者を詐欺師と誤判定すれば、マーケットプレイスはその購入者の信頼を失います。二度あれば、マーケットプレイスはSentinelを外します。Szmielew氏の言葉です：

Sentinelに必要だったのは、実写真を誤認しないまま、ピクセル単位のAI加工も捉えられる検出器でした。

Piotrは3つの主要ソリューションを徹底検証しました。データは、標準的なAI検出器では実用的な商用プロダクトを支えられないことを示しました。

• OpenAI Vision 正当な画像を偽物とフラグしました。3枚のバッチテストでは、1枚目の実物で加工のない写真を誤判定しました。Sentinelは評価を中止しました。購入者が正確な判定を期待するマーケットプレイスに、本物の画像で失敗する検出器は売れません。
• Sightengine 完全にAI生成された画像は妥当なコストで検出できました。しかし実写真へのAI加工—Sentinelが狙う不正タイプ—は検出できませんでした。核心を外すツールは、安い選択肢ではなく、間違った道具です。
• Hive Moderation テストに至りませんでした。Hiveは料金を公開しておらず、チームがメールを3〜4通送っても返信はありませんでした。Sentinelは次へ進みました。

これらの結果を受け、Sentinelは実際の不正サンプルをより広く集めTruthScanを検証し始めました。チームの対応の速さが決め手だったとSzmielew氏は述べています：

0:00 / 0:00

"この会社は素晴らしいです。機能のリクエストをしたらCEOが返信してくれて、だいたい2週間後には実装されていました。とても良い経験でした。"

Sentinelは複数の検出器を順に実行します。多くは明白な偽物—既知の加工パターンを持つ完全生成画像など—を捉えます。フィルタを通過しても結果が不確かなとき、TruthScanが最終判断を下します。

Szmielew氏は役割をこう説明しています：

0:00 / 0:00

"TruthScanがパイプラインの最終モデルである理由があります…前段の結果が決め手にならないとき、TruthScanが最終の判定役になります。"

"他のツールは第一線としては良い…でも本番で効くのは、最後にTruthScanがすべてを解決してくれることです。"

Sentinelは、実際の不正事例をさらに集め関係者を交えTruthScanと比較検証したうえで、このパイプライン構成にしました。TruthScanだけが、他の検出器が見逃した層—実写真へのAI加工—を確実に識別できました。

• 全テストで不確かな結果は1件のみ。 Sentinelの全テストセットで、TruthScanが不確かと返したのは1回だけでした。それ以外の画像はすべて明確な判定（本物または偽物）が出ました。

• Sentinelの検出能力の90%がTruthScanに依存。 Szmielew氏によれば、TruthScanを外せばAI加工不正の検出能力は90%落ちます。パイプラインの他のツールは基本的なケースを扱い、TruthScanが残りを担います。

• 調達の遅延なし。 Sentinelは営業承認やAPIアクセス待ち—Hiveの評価を停滞させたプロセス—なしにTruthScanを統合できました。需要の増加に合わせスケールし続けられました。

Szmielew氏自身の言葉：

0:00 / 0:00

"統合はとても簡単で…リスクは非常に低いです…AIによる画像加工を検出したいなら、今のところそれに適したツールだと思います。"

Sentinelは、ほぼすべてのテスト画像で明確な結果を返す不正検出プロダクトを販売できるようになりました。その能力の約90%はTruthScanが担います。OpenAIとHiveでは不可能でした。

SentinelはGoogle Cloud for Startupsプログラムに採択されました。TruthScanの統合がその一因となり、当初のマーケットプレイス顧客以外への展開も進んでいます。