文章を書かないＡＩ Jev に、何ができるのか
TypeSafe AI の Jev は、文章をひとことも生成しない。返すのは選択肢・順序尺度・yes/no の確率だけという、生成AIの下位互換にしか見えない割り切りに、どんな使いどころがあるのか。公式の事例18本と第三者のベンチマークを原文と生データから読み、文章を書かないAIを自分の処理のどこに置けるかを探る。
今日も出し惜しみなしで、開発現場で得たものを全部書く。
今回は、「また新しいモデルが出たらしいが、生成AIと何が違うのか分からないまま流している」——そんな心当たりのある人に向けて書いた。
先に言っておく。Jev は生成AIの劣化版ではない。文章を書く能力を丸ごと捨てた代わりに、速さ・安さ・安定を手に入れた〝部品〟だ。 そして部品である以上、使いどころを間違えると何の役にも立たない。
記事の要点は、文末の要点ダイジェストにQ&Aでまとめてある。
Jev が文章を書かないという選択でやめたもの
Jev が捨てたのは「言葉を並べる」という仕事そのものだ。 TypeSafe AI がこのモデルを System One と呼んでいるのは、人間でいう直感的な即断——熟考ではなく一撃の判断——を担う部品だという主張から来ている。
| 生成AI（LLM） | Jev | |
|---|---|---|
| 返すもの | 文字列。使う側がパースする | 型のついた値。そのまま代入できる |
| 不確かさ | 自己申告できない | 確率と confidence を必ず返す |
| 考え方 | 順に考えを積む（chain-of-thought） | 積まない。一撃で返す |
| 料金 | 入力＋出力の両方に課金 | 入力のみ。出力は無料 |
| 速さ | 秒単位 | 公式の実測で 110ms 台 |
出力が無料という一点が、地味に効く。生成AIは「長く考えさせるほど高い」が、Jev は考える長さという概念がないので、問いを増やしても請求は増えない。この性質は、後で出てくる7つの設計の型すべてに効いてくる。
構造化出力（structured output）という言葉自体は新しくない。生成AIにも JSON を吐かせる機能はある。違うのは、生成AIが「JSON っぽい文字列を書く」のに対し、Jev は取りうる値の集合が呼ぶ前から確定している点だ。パース失敗という失敗モードが、構造上そもそも存在しない。
Jev が返す3つの型と、その本体にあたるもの
Jev が答えられるのは3つの形だけで、そのどれもが「値」ではなく「確率分布」を返す。
| 型 | 聞き方 | 返るもの |
|---|---|---|
choice |
定義した選択肢から1つ選ばせる | 選ばれた値・各選択肢の確率・confidence |
score |
順序のある水準に当てはめさせる | 水準間の期待値（小数）・確率・confidence |
noul |
はい/いいえの命題を評価させる | 「はい」の確率。confidence は付かない |
ここが一番の勘所なのだが、返り値の本体は選ばれたラベルではなく、その後ろにある確率のほうだ。 confidence は分布がどれだけ尖っているかを 1 つの数に畳んだもので、分布そのものも一緒に返ってくる。だから自前の指標に差し替えてもいい。
そして1回の呼び出しに問いを何本でも入れられる。 各問いは同じ state に対して独立・並列に評価されるので、3問目の答えが7問目に影響しない。生成AIで13問まとめて聞くと互いに引きずられるが、Jev にはそれがない。
最終的な答えを Jev に聞くと精度が落ちる理由
Jev に最終的な答えそのものを聞くのは、一番弱い使い方だ。 公式の事例に、それがはっきり出ている実測がある。ワインの試飲メモ（文章）から批評家が付けた 80〜100 点を当てる課題で、2,000 件のうち 1,200 件で学習し、残り 800 件で採点した結果がこれ。
| やり方 | 予測誤差（小さいほど良い） |
|---|---|
| 訓練データの平均点をいつも答える | 3.09 |
| 単語の出現回数を機械学習にかける | 2.47 |
| Jev に「何点か」を直接聞く | 2.15 |
| 38個の小さい問いに割って機械学習にかける | 1.77 |
直接聞いた 2.15 という数字には、さらに注釈が付く。答えが系統的に約1.7点ずれていたのを、後から一律で引き算して補正した後の値がこれだ。
なぜ割ったほうが当たるのか。点数への換算が、メモの中に書かれていないからだ。「口調が肯定的で、熟成のポテンシャルに触れていて、単一畑である」——ここまではメモを読めば分かる。それが 94 点なのか 89 点なのかは、その批評家の癖であって、文章のどこにも書いていない。1.7点のずれは、その癖を知らないことの表れにすぎない。
一方、割った側は 38 問の答えを 67 個の数値に変えて勾配ブースティング（数値表から数値を予測する古典的な機械学習）に流し、1,200 件の正解から「口調の肯定度が1段上がると何点」を実データで学ぶ。Jev は読み取り、換算はラベルを持つ側が担当する、という分業になっている。
もうひとつ効いているのが〝迷い〟だ。score の答えは確率分布で返るので、「3と4の間で迷っている」という状態がそのまま1列の数値として残る。1問で点数を聞けば、この迷いは1つの数に潰れて消える。
手元に正解データがあるなら、最終判断を Jev に聞いてはいけない。 これが今回いちばん持ち帰ってほしい話だ。
公式の事例18本に共通していた7つの設計
事例が違っても、効いている仕掛けは7つしかない。 公式の cookbook 18 本を原文から読んで並べ直すと、industry 別の見出しの下にあるのは同じ型の反復だった。
| 型 | 中身 | 実測の裏づけ |
|---|---|---|
| 分割 | 大きな判断を小さな独立の問いに割る | 直接 2.15 → 38問 1.77 |
| 同梱 | 全部の問いを1通に入れる | 12.2倍安く10.0倍速い |
| 前段で絞る | 候補を別手段で作り、選ばせる | 検索1位率 5→18% |
| 閾値で分岐 | 確率で自動／人手／上位モデルへ | 人手キュー 11.1% |
| 粗く答える | 確信がなければ上位分類に丸める | 正解率 40→70% |
| 検証に回す | 他AIの出力・引用・ツール呼び出しを点検 | 引用8件で捏造と矛盾を捕捉 |
| 数値化 | 確率を特徴量にして古典MLに流す | 誤差 2.47 → 1.77 |
「同梱」の 12.2 倍は、54,000字ほどの GDPR の記事に 13 問投げた実測だ。1通にまとめても13通に分けても答えは変わらず、値段と時間だけが変わる。長い state を13回再送しないぶんが丸ごと浮く。
「粗く答える」も面白い。SEC の年次報告 60 件を 75 業種に分類したところ、Jev が確信ありと申告した 30 件は 27/30（90%）当たり、確信なしの 30 件は 12/30（40%）しか当たらなかった。その確信なしの 30 件を、細かい業種でなく上の階層で答えさせると 70% に戻る。 当たる／外れるではなく、外れる場面を自己申告できるのが売りだ、という主張がここに出ている。
Jev が明らかに苦手なこと
苦手は公式が自分で並べている。 9つの失敗モードと、会社自身が認める限界3つがドキュメントに書いてある。ここを読まずに投入すると普通に詰む。
| 苦手 | どう避けるか |
|---|---|
| 算術・計数が不正確 | 計算はコード側に置く |
| 日付・時刻の比較が不安定 | 抽出だけ任せ、比較はコード |
| 字義通りにしか読まない | 条件を文に書き切る |
| 間接参照・二重否定に弱い | 直接名指しで聞く |
| 無関係な情報で精度が落ちる | 先に絞ってから渡す |
| 敵対的な入力に流される | 基準を明示し、事前に検証する |
| 文章生成はできない | 生成は別モデルの仕事 |
これに加えて、段階的に考える必要があるタスクは推論モデルに劣る／専門領域は訓練されていない／日本語は英語より精度が落ちると公式が明記している。最後のひとつは、日本語で使うつもりなら無視できない。
選択肢の数にも上限がある。choice は最大 255 なので、それ以上の候補から選ばせたいなら二段に割るしかない。そして候補そのものを作るのは自分の仕事だ。メールアドレスや電話番号は正規表現で拾えるが、人名のように正規表現の書けないものは、名簿か固有表現抽出を自前で用意してから渡すことになる。
第三者のベンチを再計算して出てきた数字
先週、ベンダー以外が走らせた実測が初めて出た。そして生データを自分で計算し直したら、記事に載っていない数字が出てきた。
LangChain が、天気を答えるエージェントの応答5件を、Jev と3つの生成AIに各100回採点させて比べている。公開された数字はこうだ。
| 評価者 | 合否の正解率 | スコアのブレ | 合計費用 | 遅延 |
|---|---|---|---|---|
| Jev | 100.0% | 0.0000149 | $0.34 | 0.44秒 |
| GPT-5.6 Terra | 99.8% | 913倍 | $2.90 | 2.83秒 |
| GPT-5.6 Luna | 96.4% | 433倍 | $0.39 | 2.50秒 |
| Claude Sonnet 4.6 | 80.0% | 92倍 | $28.17 | 2.16秒 |
この実験が良いのは、再現用のリポジトリに生データまで同梱してあるところだ。数字を主張するだけの発表が多いなかで、これは誠実な出し方だと思う。だからこそ、こちらも手元で計算し直せた。出てきたのが次の3つ。
ひとつ。連続値の採点では、Jev が4者で最も人間から遠い。 同じファイルに人間との誤差も入っているのに、記事はブレしか報告していない。
| 評価者 | 人間との平均誤差 | 誤差0.1以内の割合 |
|---|---|---|
| GPT-5.6 Terra | 0.0767 | 69% |
| Claude Sonnet 4.6 | 0.0780 | 76% |
| GPT-5.6 Luna | 0.0874 | 65% |
| Jev | 0.1064 | 60% |
ただしこれは相当部分が計測の作りによる。人間の正解は3項目の0/1を平均した値なので4段階しか取らない。生成AIは「1.0」と書けばぴったり当たるが、Jev の確率は飽和しないので 0.90〜0.96 で止まり、必ず誤差が残る。それでも実務上の含意は消えない——Jev の生の平均値を人間の基準と直接比べてはいけない、という話として残る。
ふたつ。Claude の 80% は、ブレたのではなく1問で人間と割れた結果だ。 個別に見ると、5問中4問を100回とも正解し、残り1問（地名が曖昧な Springfield）を100回とも不正解にしている。4/5 でちょうど 80.0%。評価者の不安定さではなく、基準の解釈が人間と1件食い違ったという話で、n=5 では1問の解釈差が20ポイント動く。
みっつ。生成AI側は温度を下げていない。 リポジトリの再現ノートに「temperature・top-p・seed・max tokens を設定していない」と明記がある。ここが効く。TypeSafe 自身の資料では、Claude Haiku 4.5 を温度0にすると確率のブレが 0.0012 になり、Jev の 0.0098 より安定していた。温度0で測り直せば、92〜913倍という差はかなり縮む可能性が高い。ちなみにブレ比の信頼区間もリポジトリに入っていて、Claude 比は 92 倍ではなく 11.8〜172.6 倍の幅がある。
ここは書き手を責めるところではない。著者自身が「narrow test」と明記していて、誇張する気がないことは本文から伝わるし、生データを出さなければ誰もこの3点に気づけなかった。批判しているのは数字の見せ方であって、実験でも人でもない。ベンチマークというものは、出た数字より「何を測っていないか」のほうが情報量が多い。ここでもそれが当てはまった。
結論としてはこうなる。桁の違う費用と速さは信じていい。精度で勝るという話は、このデータからは言えない。 その費用と速さを、自分のアプリの判定で Claude Opus 5 と並べて測った結果は、公称値を実測で確かめた記事にまとめた。
digest
疑問解消のための要点ダイジェスト
開く ▾
Q. Jev は生成AIの置き換えになるの？
ならない。文章を一切生成しないので、書く仕事は生成AIの担当のまま。Jev が置き換えるのは「分類する・点を付ける・合否を出す」といった判断の部分で、生成AIの前段か後段に挟む部品として使う。
Q. 結局どこに使えば効くの？
大きな判断を小さな独立の問いに割れる場所。分類・検出・採点・振り分け・順位づけ・検証・特徴抽出の7つが典型で、公式の事例18本もほぼこのどれか。逆に計算・日付の比較・多段の推論は苦手なので、そこはコードに残す。
Q. なぜ「最終的な答えを聞くな」なの？
答えへの換算ルールが入力文の中に書かれていないから。ワイン評の実測では、点数を直接聞くと誤差2.15、38問に割って機械学習に渡すと1.77だった。手元に正解データがあるなら、読み取りだけ任せて換算は自分で学習させたほうが当たる。
Q. confidence はどこまで信用していい？
「低いときは答えが使えない」という形で当たる。SEC の業種分類では、確信ありの30件は90%当たり、確信なしの30件は40%しか当たらなかった。低いときは粗い分類に丸めるか人間に回す、という設計にするのが前提。
Q. 公開されている数字はどこまで信じていい？
費用と速さの桁の差は、第三者の実測でも再現されていて信じてよい。精度の優位は言えない——生データを計算し直すと、連続値の採点では4者で最下位だった。比較相手の生成AIは温度を下げていない条件で走っている点にも注意。
Jev と同じ形の公開モデル 10 個を、日本語の同じ試験で Jev と並べた結果は、続編の記事にまとめた。
判断を組み立てるのは、いつまでも人間のコード
Jev を触っていて一番面白かったのは、このモデルが「どう動くか」を何も決めないことだった。何問投げるか、確率のどこで切るか、外れたら誰に回すか。全部こちら側のコードに残っている。事例18本に共通していた7つの型は、どれもその前提の上に立っていた。
派手な新モデルが出るたびに「これで開発はこう変わる」という話が流れるが、今回に関してはむしろ逆だと思う。AIが返すものが単純になるほど、周りの設計を書くのは人間の仕事として濃くなる。 分割の粒度をどう決めるか、閾値をどこに置くか、外れたときに誰が拾うか——これは10年前から変わらない、ただのシステム設計の話だ。
そして、そういう不変の基礎力のほうが、モデル名より長持ちする。
この記事の数字について: 公式の事例の数値はすべて TypeSafe 社自身が書いて走らせた notebook のもので、第三者の再現はない。LangChain のベンチは再現用リポジトリに同梱された生データを高井が手元で再計算したもの（2026-09-21）。規模は5問×100回、人間の正解ラベルは1名ぶんである点も含めて読んでほしい。