Jevほか判断特化AIの日本語力LLMランキング

今日も出し惜しみなしで、開発現場で得たものを全部書く。

今回は、「AIの導入を任されたけれど、公開の順位表を信じて選んでいいのか分からない」という立場の経営者・責任者に向けて書いた。読み終えるころには、順位表のどこを信じ、どこを自分で確かめるべきかが、1 枚の表になって手元に残るはずだ。

先に結論を置く。⁠英語の順位表とは、まるで違う並びになった⁠。TypeSafe AI の本家 Jev と、それをまねて作られた公開モデル（誰でも無料で持ち帰って動かせるAI）10 個に、日本語の同じ 15 問を解かせて順位を付けた。1 位は、本家と公開モデル 1 つとの同点。英語の順位表で公開モデルの 1 位だったAIは、日本語では最下位だった。

言葉を 2 つだけそろえておく。この記事で「モデル」と呼ぶのは、AIの製品ひとつひとつのことだ。「LLM」は文章を読み書きするAIの総称で、Jev はその仲間だが文章を書かず、「この投稿は炎上しそうか」のような問いに何％かで答えるだけのAIだ。性質は1本目の記事にまとめてある。

要点は、記事の末尾にある要点ダイジェストにQ&Aでまとめてある。

日本語LLMランキングで本家Jevに並んだ公開モデル

1 位は本家 Jev と Winnow-12B の同点で、15 問中 14 問に合格した。最下位は、英語の順位表で公開モデル 1 位だった JevK5 の 4 問だ⁠。

※ 「危険を通した」＝危ない投稿を「出してよい」と通した数（専門用語では見逃し）。「安全を止めた」＝安全な告知を「止めろ」と止めた数（同じく誤検知）。同点は同じ順位で並べた。「事業で使えるか」は、作者が定めた利用条件（ライセンス）の表記を 2026-09-25 に読んで付けたもので、法的な判断ではない

• 答えを先に決め、AIには見せずに解かせた 15 問の暫定順位
• 問題を増やすと上位の差は縮む（後述）
• 国内の炎上事例 300 件で順位を更新する

比べたのは、TypeSafe AI が 9 月に出した Jev と、その形をまねて作られた公開モデルたちだ。Jev の公開から 9 日で、同じ形のモデルが 80 以上出た。それらを並べた英語の成績表（順位表）が JevBench だ。今回はその中から、手元の機材で動く 10 個を選んだ。

本家 Jev は jev-1.13.0 で測った。10 月 14 日に出た 1.14.0 にも同じ 15 問を 5 回解かせたが、合格は平均 13.2 問で、伸びは見えなかった（合否の線を 1.13.0 で決めたので、1.14.0 には少し不利な条件だ）。

経営者の目で見るなら、合格の列だけを読まないでほしい。同じ 9 問に合格した Hopper と Qwen3-Reranker-4B は、外し方が真逆だ。Hopper は安全な告知を 5 回止め、Qwen3 は危ない投稿を 5 回通した。⁠どちらの失敗が自社にとって高くつくかで、選ぶ相手は変わる。そして Hopper は、成績とは別の理由で候補から外れる。作者が「研究・デモ用のみ」（試しに動かすためだけ）と定めていて、事業には使えない。

AIベンチマークの英語順位は日本語で入れ替わった

英語の成績表に載る 9 モデルの中で、英語 2 位の JevK5 は日本語で 9 位に落ち、英語 9 位の decider-2b は 3 位に上がった⁠。

※ ベンチマークとは、同じ問題を解かせてAIの成績を付ける仕組みのこと。JevBench は Benchmark Heaven が運営する Jev 型モデルの成績表（benchmarkheaven.com/jev-models・2026-09-23 時点）。「全体」は 82 システム中の順位。上がり下がりは、成績表に載る 9 モデルだけを英語の点数と日本語の合格数でそれぞれ並べ直して比べた（同点は同じ順位）。decider-4b と Kev 9B は、この日の成績表に載っていないため省いた。JevK5 は測った版が v0.2.0 で、現行は v0.3

成績表そのものは丁寧に作られている。82 のシステムを同じ条件で測り、公開問題に合わせてモデルを作り込んだ作者には、その旨の注記まで付けている。ただし、問題はすべて英語だとページに明記してある。

日本語で同じように測った第三者の結果は、ぼくが探した範囲では見当たらなかった。だから作った。

面白かったのは、「英語だけ」と自分で書いているモデルの動きだ。decider-2b は、作者の説明ページに English only と明記してある。それなのに日本語で 12 問に合格し、9 モデルの最下位から 3 位に上がった。逆に、日本語を含む 16 言語をうたう metask-jev-4b は 6 問で、英語と同じ 6 位のままだった。⁠自己申告も、英語の順位も、日本語の実力を言い当てていない⁠。

AIモデル比較の試験に使った日本語15問と2つの失敗

答えを先に決めてAIには見せずにおいた 15 問を、11 のモデルに同じ聞き方で 1 回ずつ解かせた⁠。題材は、ぼくが作っている SendSignal（投稿する前に炎上しそうな箇所を見つける道具）の判定そのものだ。

• 危ない投稿 5 問・安全な投稿 10 問
• 安全な 10 問は、店の告知や来客の話
• 答えは判定の定義を直す前に書いた
• 解かせたのは 1 度だけ（測り直していない）
• どのモデルにも同じ問いを同じ形で渡した
• 判定の定義は 2026-09-24 時点のもの（9/27 に改訂したが、数字はすべて改訂前の同じ定義で測った）

判定は「問題なし・要確認・要修正・投稿中止」の 4 段階だ（記事では L0〜L3 と略す）。1 問ごとに「要修正か投稿中止なら合格」のように幅を決めてある。

試験で数えた失敗は 2 種類ある。ここは経営の言葉に訳すうえでいちばん大事なところなので、表にしておく。

公開モデルはどれも同じ機材で動かし、答えの形だけを本家にそろえて比べた。モデル名の数字（2b・4B・12B）はAIの大きさで、小さいほど安い機材で動く。

何も止めないAIモデルほど危ない投稿を通す理由

安全な投稿を 1 度も止めなかった decider-2b が、危ない 5 問のうち 3 問を通した。そのうち 2 問は「問題なし」だった⁠。

※ L0 問題なし／L1 要確認／L2 要修正／L3 投稿中止。「通した」＝期待より低い段階を出して危ない投稿を通した（見逃し）

安全な告知を 1 度も止めないというのは、現場から見ると気持ちのいい性質だ。何も止めないので、使っていて邪魔にならない。ただ、止めないモデルは、止めるべきものまで止めないことがある。

しかも外し方が悪い。「要確認」で止まっていれば人の目が入るが、「問題なし」まで下がると、誰も読み返さないまま外に出る。⁠事業にとって一番高くつくのは、この静かな見逃しだ⁠。

これは 15 問だけの偶然ではなかった。本家を見ながら定義を直した 69 問（後で説明する）でも、decider-2b は 16 問を通し、そのうち 13 問が「問題なし」だった。

ランキング 3 位という位置は、この性質を知ったうえで読んでほしい。合格数が近いモデルでも、⁠どちらに外すかで選ぶべき相手は違ってくる。通されて困る仕事か、止められて困る仕事か。先にそれを決めておくと、表の読み方が変わる。

安全な告知を止めたAIの53件中46件は同じ読み違い

安全な投稿を止めた 53 件のうち 46 件は、「宣伝であることを隠している」という読み違いだった⁠。

※ 本家以外の 10 モデルが、15 問のうち安全な投稿を止めた回数の合計（誤検知の内訳）

「今週末は秋の感謝セールです」のような、店が自分の商売を宣伝しているだけの投稿を、多くのモデルが「ステマ（宣伝と明かさない宣伝）」と読んだ。自分の店の告知は、隠してもいないし、ステマでもない。

日本の小さな店や会社がSNSでいちばん多く書くのは、まさにこの種の告知だ。そこで止まる道具は、毎日の投稿のたびに現場を止める。⁠一語を読み違えるだけで、道具として使えなくなる⁠。

英語の成績表の問題には、日本の店が日常的に書くこうした投稿がほとんど入っていない。ランキングの下位 5 つは、すべて「安全を止めた」で落ちている。成績表では見えなかった弱点が、日本語の日常的な投稿で表に出た。

LLM比較の問題を24問に増やすと上位4つの差が消えた

別に用意した 24 問では、本家 Jev・Winnow-12B・decider-2b・Hopper が 15〜17 問に並び、本家も 7 問を通した⁠。

• 24 問は、報道された炎上の型から書いた別の試験
• 4 つとも 15〜17 問で、どれも危険を通す失敗が多い
• 本家 Jev が危険を通したのは 7 問あった

69 問のほうは本家が満点だが、これは公平な比べ方ではない。⁠判定の定義を、本家の答えを見ながら直した試験だからだ。本家に有利に作られている。

つまり、このランキングは固定ではない。15 問と 24 問では、1 問の当たり外れで順位が動く。上位 4 つの間の差は「いまのところ見えていない」と読むのが正しい。一方で、下位との差はどちらの試験でもはっきり出た。いま、国内で実際に炎上した投稿を 300 件集めて、同じように答えを伏せた試験を作っている。順位はそこで更新する。

もう 1 つ。⁠本家の Jev も、日本語の炎上では完全ではない⁠。どのモデルを選んでも、人の目がまだ要る。

ローカルLLMを自前で持つ前に確かめる3つの条件

本家にお金を払わず公開モデルを自前で動かすなら、確かめることは 3 つある。事業で使ってよいか、手元の機材に載るか、自社の文章で試したかだ⁠。外部のサービスに文章を送らず、自社の機材の中でAIを動かすことを、ローカル LLM と呼ぶ。

自前で持つ利点ははっきりしている。⁠文章を社外に出さずに済む⁠。機密を含む文書を判定させたい会社には、ここが決め手になりうる。1 社の料金や方針の変更に左右されにくいのも強みだ。

一方で、費用の比べ方には注意が要る。本家 Jev はネット越しに呼んで使う有料サービスで、この 15 問を 1 回解かせて 0.48 円だった。とても安い。自前の側は、機材と、動かし続ける人の手間がかかる。今回は測っていないので、ここでは金額で比べない。本家 Jev と生成AIの料金を同じ仕事で比べた数字は、Opus 5 と並べて実測した回に置いた。

測り方の細部と全データ（1 問ごとの結果・出典と利用条件）は、White Paper にまとめた。無料で、申し込むと PDF をメールで受け取れる。英語版もある。

AIの選び方は順位表でなく自社の15問で決まる

AIモデルの比較で、順位表を見ること自体は悪くない。候補を絞るには便利だ。けれど、今回のランキングを作って確信した。⁠最後に選ぶ根拠は、自分の仕事の文章で測った結果に置くべきだ⁠。

順位表は、来月には書き換わっているだろう。この記事のランキングも、300 件の試験で更新する。⁠でも「自分の仕事で確かめてから選ぶ」という手順は、何年たっても使える⁠。

今回の判定の中身は、SendSignal で実際に動いている。投稿する前に、どこが危ないかを見つける道具で、登録なしで 5 回まで試せる。

本記事の実測データ・図は、出典（本記事URL）明記のうえ引用自由です。