「このモデルはAI画像を見分けられます」と言うだけなら誰でもできます。 このページは、実際に測った数字と、外れた場面を全部出すためのものです。都合の悪い数字も消していません。
出典のライセンス表示、取得方法、モデルの配布条件を区別して確認しています。過去の自動取得には未確認事項がありますが、それだけでモデルや本サイトの利用禁止が確定したものではありません。全用途の権利保証は行っていません。確認範囲と説明の訂正
1. 結論
- 2026-08-17に選んだ9モデルを、この評価条件では採用しませんでした。 同一条件で9本を測り、8本は評価セットの実写を11.4〜81.6%の割合でAIと誤判定した。「AI画像を検出する」より「実在の人を偽物扱いする」ほうが実害が大きいため、この誤判定率では搭載できない
- 唯一まともだった1本はライセンスが未記載で、商用利用の可否が判断できず採用を見送った(当時の確認結果)
- そこで自分で学習した。学習データは当時確認できたライセンス情報に基づくデータを使い、条件が不明・非商用・研究目的限定の22データセットは除外した
- 結果、外部545枚で 実写の誤判定 1.8% / AI検出 70.0%。人物の顔だけを別に測った615枚では 誤判定 1.1% / 検出 92.2%
- それでも「AIではない」ことの証明には使えない。 2025年世代の生成器は4割近く見逃す
2. 公開モデル9本の実測(2026-08-17)
評価に使ったのは、公開データセットから集めた 545枚(AI 273 / 実写 272)。 4つのセットで構成しています。第三者モデルの学習データとの完全な非重複は確認できていません。
| セット | 内容 | AI | 実写 |
|---|---|---|---|
| mj6 | Midjourney v6 vs 実写 | 60 | 60 |
| tellif | 2025年の最新生成器(Seedream 4・FLUX Pro・Gemini 2.5・Imagen 4・Ideogram v2・Recraft v3・SD3.5 等)と意味的に似た実写のペア | 123 | 122 |
| eddy | 汎用の AI vs 実写セット | 50 | 50 |
| faces | StyleGAN生成の顔 vs 実在の人の顔(256px) | 40 | 40 |
FPR = 実写をAIと誤判定した割合。これが低いことを最優先で見ています。
| モデル | AUC | FPR (実写の誤判定) | recall (AI検出) | ライセンス | 判定 |
|---|---|---|---|---|---|
| haywoodsloan/ai-image-detector-deploy | 0.892 | 3.7% | 61.2% | 未記載 | 性能は唯一合格。ライセンス不明で不採用 |
| Ateeqq/ai-vs-human-image-detector | 0.737 | 18.4% | 57.5% | Apache-2.0 | ライセンス品の最良。それでも実写5枚に1枚を誤判定 |
| Organika/sdxl-detector | 0.662 | 26.8% | 52.0% | CC BY-NC | 非商用のみ |
| onnx-community/SMOGY-Ai-images-detector | 0.683 | 46.7% | 73.6% | — | 実写の顔をほぼ全部AI扱い(顔FPR 87.5%) |
| onnx-community/ai-image-detection | 0.642 | 75.7% | 92.3% | — | ほぼ何でもAIと言う |
| prithivMLmods/AI-vs-Deepfake-vs-Real | 0.686 | 81.6% | 85.3% | — | 較正が崩壊している |
| prithivMLmods/…-Siglip2 | 0.353 | 27.9% | 6.6% | — | ランダム以下 |
| onnx-community/deepfake_vs_real_image_detection | 0.514 | 11.4% | 11.0% | — | ほぼ見逃す |
| umm-maybe/AI-image-detector | 0.605 | 19.9% | 33.7% | — | 2023年のモデル。世代遅れ |
3. HONMONO 自前モデルの実測
Swin v2 base を微調整したモデルです。評価は上と同じ545枚で、モデルの学習そのものには使っていませんが、運用しきい値の選択には参照しました。完全な独立テストではありません。 ブラウザに載せている int8 量子化版(90MB)での数値です。
| モデル | AUC | 実写の誤判定 | AI検出 | 2025年世代の検出 | 顔だけの写真の誤判定 | 学習データの条件 |
|---|---|---|---|---|---|---|
| v3.1(現在搭載・しきい値0.8) | 0.932 | 1.8% | 70.0% | 62.6% | 5.0% | 出典・取得条件を別途開示 |
| v3(同日の先行版) | 0.952 | 1.8% | 69.6% | 61.0% | 10.0% | 出典・取得条件を別途開示 |
| v2(前世代) | 0.929 | 2.6% | 63.0% | 45.5% | 0.0% | 非商用を含む |
| 借り物 haywoodsloan(比較用) | 0.897 | 2.6% | 62.3% | — | — | 未記載 |
| 公開ライセンス品の最良(Ateeqq) | 0.737 | 18.4% | 57.5% | — | — | Apache-2.0 |
v3 と v3.1 は AUC では v3 が上ですが、実際に使うしきい値での顔の誤判定が半分になるため v3.1 を採用しました。 AUC は、無作為に選んだAI画像と実写画像の組でAI画像に高いスコアを付ける割合(同点は半分)を表す指標であり、運用で使う1点の性能とは別物です。
4. 顔の追加診断(615枚・独立評価ではありません)
実害がいちばん大きいのは「実在の人の顔写真をAI扱いすること」です。 そこで、モデル選択用devと同じ元写真群から顔を切り出した追加診断セットを作りました。学習への直接使用とは別ですが、選択から独立した検証ではありません (実在の人の顔 270枚 = Pexels の写真から顔を自動検出して切り出し / AI生成の顔 345枚 = 選択用Rapidata Auroraデータの画像(ペア相手の生成器を含み得るため全画像をAurora製とは断定しません))。
| モデル | 実在の人の顔の誤判定 | AI生成の顔の検出 | AUC |
|---|---|---|---|
| v3.1(現在搭載) | 1.1%(3/270) | 92.2% | 0.995 |
| v3(先行版) | 2.2%(6/270) | 92.5% | 0.990 |
5. 弱点(正直に書く)
- 2025年世代の生成器は4割近く見逃します(検出 62.6%)。Seedream 4・Gemini 2.5・FLUX Pro 等。評価に含まれない生成器や加工に対する性能は未確認です
- 古いGAN風に正方形で切り取られた顔では、実在の人の誤判定が 5.0% まで上がります(通常の写真では 1.8%)
- 「AIではない」ことの証明には使えません。 検出しなかった=人間、ではありません
- 正方形に切り取った実写では誤判定が 1.8% → 2.9% に上がることを、意図的な加工テスト(切り抜き・低画質JPEG・縮小・白黒化)で確認しています
- この数字は私たち自身が測ったものです。第三者による再測定は行われていません。だからこそ手順を下に公開しています
6. 学習データの出典
方針は 「出典・取得経路・許諾範囲を別々に確認する」。 学習に使った画像そのものは配布していません(配布する権利を持たないため)。
使ったデータ(帰属表示)
AI生成画像
- Rapidata の text-to-image 人間選好データセット11本 — ライセンス CDLA-Permissive-2.0
Seedream-3 / Imagen4 / Imagen-4-ultra / Recraft-v3 / Flux-2-pro / HunyuanImage-2.1 / OpenAI-4o / Ideogram-V2 / Hidream / Runway_Frames / Recraft-V2(加えて選択用 dev にxAI_Aurora) - bitmind/nano-banana(Gemini 系生成)— MIT
- ehristoforu/dalle-3-images、ehristoforu/midjourney-images — MIT
- julienlucas/midjourney-dalle-sd-nanobananapro-dataset(AI側のみ使用)— MIT
- javi22/this-person-does-not-exist-10k(StyleGAN顔)— MIT
実写画像
- Open Images V7(
bitmind/open-images-v7-subset経由)— 画像は CC BY 2.0。 Open Images の画像は Flickr の利用者が CC BY 2.0 で公開したものです。 出典 - Unsplash(
1aurent/unsplash-lite経由・写真は Unsplash の CDN から取得)— Unsplash License(商用利用可) - Pexels(URL一覧経由・写真は Pexels の CDN から取得・選択用dev・顔の追加診断、およびpexels2由来の学習用顔画像に使用)— Pexels License(商用利用可)
使わなかったデータと、その理由(22件)
性能だけを見れば入れたほうがよかったものも含まれています。実際 FFHQ・CelebA-HQ を外したせいで、 顔写真の誤判定が一度 17.5% まで悪化しました(顔の切り出しを両クラスに足して 1.1% まで戻しました)。
| データセット | 外した理由 |
|---|---|
| playgroundai/MJHQ-30K | ライセンス未記載 |
| elsaEU/ELSA_D3 | ライセンス未記載(研究目的の可能性) |
| bitmind/JourneyDB | license:unknown(上流 JourneyDB は研究目的) |
| krishnakalyan3/flux-pro-1.1-v3 | 未記載 |
| VIBE-Benchmark/VIBE-Seedream4.5 | 未記載 |
| kaupane/nano-banana-pro-gen | 未記載 |
| Hemg/deepfake-and-real-images(AI側・実写側) | 未記載 |
| Hemg/AI-Generated-vs-Real-Images-Datasets(AI側・実写側) | 未記載 |
| LuckyCow/Ai_vs_real_web_images(AI側・実写側) | カードは CC0 宣言だが、検索エンジンのスクレイプで出所の権利が担保されない |
| rafaelpadilla/coco2017 | 注釈は CC BY 4.0 だが、画像は Flickr の個別ライセンス |
| nlphuji/flickr30k、jxie/flickr8k | 研究目的 |
| mattymchen/celeba-hq | 非商用研究 |
| marcosv/ffhq-dataset | CC BY-NC-SA 4.0(非商用) |
| bitmind/bm-real | 未記載 |
| julienlucas/…(実写側) | MIT 宣言だが実写の出所が不明 |
| data-is-better-together/open-image-preferences-v1 | 評価セットと画像が一致していたため、学習にも選択にも使わない(下記「訂正の履歴」参照) |
7. 再現方法
この数字を疑う場合、次の手順で確かめられます。手元にモデルを落として自分のデータで測るのがいちばん早いです。
- 来歴チェッカーを開くと
honmono_v31_int8.onnx.part1/.part2が読み込まれます。2つを順に結合すると 90MB の ONNX ファイルになります - 入力は 256×256・RGB・ImageNet 正規化。出力は2クラス(実写 / AI)の logit。しきい値は 0.8
- 評価セットは公開データセット4本から作っています(上表の mj6 / tellif / eddy / faces)。データセット名を明記しているのは、同じものを自分で組み直せるようにするためです
- ブラウザ実装が Python と同じ結果を出すことは、80枚で照合して確認しています
評価手順の詳細と生ログは AI_DETECTOR_EVAL.md にあります。 モデルの利用条件は モデルライセンス をご確認ください。
8. 訂正の履歴
v3.1の重みは変更していません。Windows / Edgeの同じ80枚(実写40・AI40)で、旧WebGPU経路はAI検出0/40、実写誤判定0/40、Python版との判定一致52/80でした。修正後のWASM経路はAI検出28/40、実写誤判定0/40、判定一致80/80、平均スコア絶対差0.00582でした。この環境の実測であり、すべてのGPU・ブラウザへの一般化はできません。
545枚のしきい値はその評価を参照して選んでいました。また顔615枚は選択用devの元写真群から切り出したものです。「選択にも使っていない」「独立」という説明を訂正します。顔615枚の従来記録はAI検出318/345、実写誤判定3/270でした。2026-09-17のネイティブCPU再測定では318/345、2/270です。環境差を含む診断であり、この差を汎化性能の改善とは扱いません。
下の比較表は過去の測定記録です。全体545枚の正解率は458/545=84.0%、AI検出率は191/273=70.0%です。陽性時の191/196=97.4%は、このほぼ半々の評価構成での割合で、任意の利用環境や個別画像の確率を保証しません。
v2 を学習したとき、途中経過の良し悪しを判定する「選択用データ」に
open-image-preferences-v1 を使っていました。
その後の汚染チェックで、このデータセットの画像が評価セット eddy の AI 画像と完全一致(ハッシュ距離0)していることが分かりました。
画像6組を目視で並べて確認済みです。つまり v2 は「どの途中経過を採用するか」を決める段で、評価に使うはずの画像を見ていたことになります。
v3 以降はこのデータセットを学習にも選択にも使わず、選択用は評価4セットに出てこない生成器(xAI Aurora)に差し替えました。
v2 の公開数値は、この分だけ良く出ていた可能性があります。
同じことが起きないように、収集したデータと評価セットを全件ハッシュ照合する検査器を作り、 さらに「わざと同じ画像を仕込んで、本当に見つけられるか」を確かめてから使っています(仕込んだ6枚を6枚とも検出・無関係な30枚の誤検出0)。