Jeva: System One Models from First Principles
Abstractの概要
本論文では、低レイテンシな「システム1」意思決定タスク向けに、null認識、順列不変性、可変サイズの候補セット、キャッシュ可能な選択肢計算という4つの構造的要件に基づいて設計された意思決定ネイティブなアーキテクチャであるJevaを提案する。Jevaは共有バックボーンを用いてリクエストと各候補選択肢を独立してエンコードし、コンパクトな意思決定スタックを使用して不変の選択肢メモリに対してリクエスト状態のみを洗練させる。本論文では、この設計が候補の対称性とキャッシュされた選択肢側の計算の正確な再利用を維持しながら、セット依存の選好逆転を生成できることを理論的に論じている。実験では、型付き意思決定の品質、null検出、候補の並び替えに対する頑健性、大規模な候補セットへのスケーリング、およびキャッシュによるレイテンシの利点を評価している。
新規性
本研究の特徴的な貢献は、null検出、順列等変な決定確率、可変の候補数のサポート、およびリクエスト間での候補の再利用を単一の意思決定フレームワーク内で同時に実現するアーキテクチャである点にある。結合エンコーディングや固定ラベルアプローチとは異なり、Jevaは再利用可能な選択肢エンコーディングをリクエスト固有の状態洗練から分離しつつ、候補セットが最終的な選択に影響を与えることを可能にしている。
成果
報告された評価全体において、Jevaは表1の8つのフルカバレッジ精度スライスのうち7つで最高性能を示し、BANKING77およびMASSIVEで90%を超える精度を達成し、Mind2Webの3つの選択スライスで79.99%、62.25%、66.23%を記録した。テストされた順列下で決定の反転が0.00%というほぼ完全な順序安定性と、BANKING77のnull検出設定でのAUROC 98.66%を含む強力なnull検出性能を報告している。また、このモデルは2,048個の候補にまでスケールして69.88%の精度を達成し、バッチ処理やリクエスト間の再利用によるレイテンシ削減を示し、論文で述べられている再利用設定では中央値レイテンシで20倍以上の高速化を達成している。
論文の注目点
- Jevaは独立したリクエスト/選択肢エンコーディングに加え、不変の選択肢メモリ上でリクエストのみの状態洗練を行うことで、セット依存の相互作用を排除することなく再利用可能な候補表現を可能にする。
- 本アーキテクチャは候補の競合とカバレッジ推定を明示的に分離しており、フラットな正規化においてnullを単なる別の候補として扱うのではなく、nullの結果を適切にサポートする。
- 実証面では、強力な型付き意思決定性能、テストされた順列による決定反転がゼロであること、数千の候補への効果的なスケーリング、そしてキャッシュに基づく再利用による大幅なレイテンシの向上が強調されている。
参考リンク
- arXiv: https://arxiv.org/abs/2610.18773v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2610.18773v1
- Hugging Face Papers: https://huggingface.co/papers/2610.18773
- GitHub: https://github.com/LiQiiiii/Jeva
- Hugging Face: https://huggingface.co/LIQIIIII/Jeva-4B
- Project: https://liqiiiii.github.io/Jeva/