モデル評価レポート

判定精度と実測結果

「このモデルはAI画像を見分けられます」と言うだけなら誰でもできます。 このページは、実際に測った数字と、外れた場面を全部出すためのものです。都合の悪い数字も消していません。

目次: 結論 公開モデル9本の実測 HONMONOモデルの実測 顔の追加診断 弱点 学習データの出典 再現方法 訂正の履歴
学習データと利用範囲について

出典のライセンス表示、取得方法、モデルの配布条件を区別して確認しています。過去の自動取得には未確認事項がありますが、それだけでモデルや本サイトの利用禁止が確定したものではありません。全用途の権利保証は行っていません。確認範囲と説明の訂正

1. 結論

2. 公開モデル9本の実測(2026-08-17)

評価に使ったのは、公開データセットから集めた 545枚(AI 273 / 実写 272)。 4つのセットで構成しています。第三者モデルの学習データとの完全な非重複は確認できていません。

セット内容AI実写
mj6Midjourney v6 vs 実写6060
tellif2025年の最新生成器(Seedream 4・FLUX Pro・Gemini 2.5・Imagen 4・Ideogram v2・Recraft v3・SD3.5 等)と意味的に似た実写のペア123122
eddy汎用の AI vs 実写セット5050
facesStyleGAN生成の顔 vs 実在の人の顔(256px)4040

FPR = 実写をAIと誤判定した割合。これが低いことを最優先で見ています。

モデルAUCFPR
(実写の誤判定)
recall
(AI検出)
ライセンス判定
haywoodsloan/ai-image-detector-deploy0.8923.7%61.2%未記載性能は唯一合格。ライセンス不明で不採用
Ateeqq/ai-vs-human-image-detector0.73718.4%57.5%Apache-2.0ライセンス品の最良。それでも実写5枚に1枚を誤判定
Organika/sdxl-detector0.66226.8%52.0%CC BY-NC非商用のみ
onnx-community/SMOGY-Ai-images-detector0.68346.7%73.6%—実写の顔をほぼ全部AI扱い(顔FPR 87.5%)
onnx-community/ai-image-detection0.64275.7%92.3%—ほぼ何でもAIと言う
prithivMLmods/AI-vs-Deepfake-vs-Real0.68681.6%85.3%—較正が崩壊している
prithivMLmods/…-Siglip20.35327.9%6.6%—ランダム以下
onnx-community/deepfake_vs_real_image_detection0.51411.4%11.0%—ほぼ見逃す
umm-maybe/AI-image-detector0.60519.9%33.7%—2023年のモデル。世代遅れ

3. HONMONO 自前モデルの実測

Swin v2 base を微調整したモデルです。評価は上と同じ545枚で、モデルの学習そのものには使っていませんが、運用しきい値の選択には参照しました。完全な独立テストではありません。 ブラウザに載せている int8 量子化版(90MB)での数値です。

モデルAUC実写の誤判定AI検出2025年世代の検出顔だけの写真の誤判定学習データの条件
v3.1(現在搭載・しきい値0.8)0.9321.8%70.0%62.6%5.0%出典・取得条件を別途開示
v3(同日の先行版)0.9521.8%69.6%61.0%10.0%出典・取得条件を別途開示
v2(前世代)0.9292.6%63.0%45.5%0.0%非商用を含む
借り物 haywoodsloan(比較用)0.8972.6%62.3%——未記載
公開ライセンス品の最良(Ateeqq)0.73718.4%57.5%——Apache-2.0

v3 と v3.1 は AUC では v3 が上ですが、実際に使うしきい値での顔の誤判定が半分になるため v3.1 を採用しました。 AUC は、無作為に選んだAI画像と実写画像の組でAI画像に高いスコアを付ける割合(同点は半分)を表す指標であり、運用で使う1点の性能とは別物です。

4. 顔の追加診断(615枚・独立評価ではありません)

実害がいちばん大きいのは「実在の人の顔写真をAI扱いすること」です。 そこで、モデル選択用devと同じ元写真群から顔を切り出した追加診断セットを作りました。学習への直接使用とは別ですが、選択から独立した検証ではありません (実在の人の顔 270枚 = Pexels の写真から顔を自動検出して切り出し / AI生成の顔 345枚 = 選択用Rapidata Auroraデータの画像(ペア相手の生成器を含み得るため全画像をAurora製とは断定しません))。

モデル実在の人の顔の誤判定AI生成の顔の検出AUC
v3.1(現在搭載)1.1%(3/270)92.2%0.995
v3(先行版)2.2%(6/270)92.5%0.990

5. 弱点(正直に書く)

6. 学習データの出典

方針は 「出典・取得経路・許諾範囲を別々に確認する」。 学習に使った画像そのものは配布していません(配布する権利を持たないため)。

使ったデータ(帰属表示)

AI生成画像

  • Rapidata の text-to-image 人間選好データセット11本 — ライセンス CDLA-Permissive-2.0
    Seedream-3 / Imagen4 / Imagen-4-ultra / Recraft-v3 / Flux-2-pro / HunyuanImage-2.1 / OpenAI-4o / Ideogram-V2 / Hidream / Runway_Frames / Recraft-V2 (加えて選択用 dev に xAI_Aurora)
  • bitmind/nano-banana(Gemini 系生成)— MIT
  • ehristoforu/dalle-3-images、ehristoforu/midjourney-images — MIT
  • julienlucas/midjourney-dalle-sd-nanobananapro-dataset(AI側のみ使用)— MIT
  • javi22/this-person-does-not-exist-10k(StyleGAN顔)— MIT

実写画像

  • Open Images V7(bitmind/open-images-v7-subset 経由)— 画像は CC BY 2.0。 Open Images の画像は Flickr の利用者が CC BY 2.0 で公開したものです。 出典
  • Unsplash(1aurent/unsplash-lite 経由・写真は Unsplash の CDN から取得)— Unsplash License(商用利用可)
  • Pexels(URL一覧経由・写真は Pexels の CDN から取得・選択用dev・顔の追加診断、およびpexels2由来の学習用顔画像に使用)— Pexels License(商用利用可)

使わなかったデータと、その理由(22件)

性能だけを見れば入れたほうがよかったものも含まれています。実際 FFHQ・CelebA-HQ を外したせいで、 顔写真の誤判定が一度 17.5% まで悪化しました(顔の切り出しを両クラスに足して 1.1% まで戻しました)。

データセット外した理由
playgroundai/MJHQ-30Kライセンス未記載
elsaEU/ELSA_D3ライセンス未記載(研究目的の可能性)
bitmind/JourneyDBlicense:unknown(上流 JourneyDB は研究目的)
krishnakalyan3/flux-pro-1.1-v3未記載
VIBE-Benchmark/VIBE-Seedream4.5未記載
kaupane/nano-banana-pro-gen未記載
Hemg/deepfake-and-real-images(AI側・実写側)未記載
Hemg/AI-Generated-vs-Real-Images-Datasets(AI側・実写側)未記載
LuckyCow/Ai_vs_real_web_images(AI側・実写側)カードは CC0 宣言だが、検索エンジンのスクレイプで出所の権利が担保されない
rafaelpadilla/coco2017注釈は CC BY 4.0 だが、画像は Flickr の個別ライセンス
nlphuji/flickr30k、jxie/flickr8k研究目的
mattymchen/celeba-hq非商用研究
marcosv/ffhq-datasetCC BY-NC-SA 4.0(非商用)
bitmind/bm-real未記載
julienlucas/…(実写側)MIT 宣言だが実写の出所が不明
data-is-better-together/open-image-preferences-v1評価セットと画像が一致していたため、学習にも選択にも使わない(下記「訂正の履歴」参照)

7. 再現方法

この数字を疑う場合、次の手順で確かめられます。手元にモデルを落として自分のデータで測るのがいちばん早いです。

  1. 来歴チェッカーを開くと honmono_v31_int8.onnx.part1 / .part2 が読み込まれます。2つを順に結合すると 90MB の ONNX ファイルになります
  2. 入力は 256×256・RGB・ImageNet 正規化。出力は2クラス(実写 / AI)の logit。しきい値は 0.8
  3. 評価セットは公開データセット4本から作っています(上表の mj6 / tellif / eddy / faces)。データセット名を明記しているのは、同じものを自分で組み直せるようにするためです
  4. ブラウザ実装が Python と同じ結果を出すことは、80枚で照合して確認しています

評価手順の詳細と生ログは AI_DETECTOR_EVAL.md にあります。 モデルの利用条件は モデルライセンス をご確認ください。

8. 訂正の履歴

2026-09-17 — 推論方式・評価独立性・権利表記を訂正

v3.1の重みは変更していません。Windows / Edgeの同じ80枚(実写40・AI40)で、旧WebGPU経路はAI検出0/40、実写誤判定0/40、Python版との判定一致52/80でした。修正後のWASM経路はAI検出28/40、実写誤判定0/40、判定一致80/80、平均スコア絶対差0.00582でした。この環境の実測であり、すべてのGPU・ブラウザへの一般化はできません。

545枚のしきい値はその評価を参照して選んでいました。また顔615枚は選択用devの元写真群から切り出したものです。「選択にも使っていない」「独立」という説明を訂正します。顔615枚の従来記録はAI検出318/345、実写誤判定3/270でした。2026-09-17のネイティブCPU再測定では318/345、2/270です。環境差を含む診断であり、この差を汎化性能の改善とは扱いません。

下の比較表は過去の測定記録です。全体545枚の正解率は458/545=84.0%、AI検出率は191/273=70.0%です。陽性時の191/196=97.4%は、このほぼ半々の評価構成での割合で、任意の利用環境や個別画像の確率を保証しません。

2026-08-18 — v2 の数値には、評価データを覗いてしまった疑いがあります。
v2 を学習したとき、途中経過の良し悪しを判定する「選択用データ」に open-image-preferences-v1 を使っていました。 その後の汚染チェックで、このデータセットの画像が評価セット eddy の AI 画像と完全一致(ハッシュ距離0)していることが分かりました。 画像6組を目視で並べて確認済みです。つまり v2 は「どの途中経過を採用するか」を決める段で、評価に使うはずの画像を見ていたことになります。 v3 以降はこのデータセットを学習にも選択にも使わず、選択用は評価4セットに出てこない生成器(xAI Aurora)に差し替えました。 v2 の公開数値は、この分だけ良く出ていた可能性があります。

同じことが起きないように、収集したデータと評価セットを全件ハッシュ照合する検査器を作り、 さらに「わざと同じ画像を仕込んで、本当に見つけられるか」を確かめてから使っています(仕込んだ6枚を6枚とも検出・無関係な30枚の誤検出0)。

このモデルを製品に組み込みたい方へ: 上の数字と弱点をそのまま前提にしたうえで、 商用組込み等の用途と提供条件をご相談いただけます → 法人・開発者向けのご案内