論文の概要: Readout Stability in Prefill-Only Decision Models:Zero-Label Prediction and Inference-Time Compute Allocation
- arxiv url: http://arxiv.org/abs/2610.07716v1
- Date: Tue, 06 Oct 2026 04:10:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.795326
- Title: Readout Stability in Prefill-Only Decision Models:Zero-Label Prediction and Inference-Time Compute Allocation
- Title（参考訳）: プリフィルオンリー決定モデルの読み出し安定性:ゼロラベル予測と推論時間計算割当
- Abstract要約: プリフィルのみの決定モデルは、単一のフォワードパス中にメニュー内のすべての候補をスコアし、デコードしない。
この読み出し構造には、テスト可能なプロパティが伴っていることを示す。
プロパティは推論時間計算をデプロイ前に行うことができる決定に変換する。
- 参考スコア（独自算出の注目度）: 9.532858656287921
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prefill-only decision models inspired by the Jev model score every candidate in a menu during a single forward pass and never decode, which makes one call one to two orders of magnitude cheaper than a same-scale generative language model. We show that this read-out structure comes with a testable property. When an intervention changes only the candidate menu and leaves the input text fixed, the post-intervention accuracy is already determined by the cached first-pass distribution. The estimator restricts the pass-1 probabilities to the menu, renormalizes, and reads off the argmax; it uses no labels and no second forward pass. Across seven model families, ten datasets and two task types, menu-only interventions are predicted to within 4.2 points, and for one family the prediction is exact. A probability-level variant of the same estimator errs by 21.0 points, so the property lives in the ranking rather than in the probabilities and is not recovered by calibration. Same-scale generative language models do not share the property. On those models the same estimator errs by 1.6 to 15.8 points and degrades as the model grows. The property turns inference-time compute into a decision that can be made before deployment. Uniform extra passes buy calibration but almost no accuracy; at matched cost a confidence cascade outperforms every scheme that re-asks the same model, and curating the menu beats enlarging the model, with a 0.8B model on a curated 5-candidate menu reaching 95.4% on CLINC150 against 80.0% for a 4B model on the full 150-label menu.Code and data are available at https://github.com/rlisml/jev-cascade.
- Abstract（参考訳）: Jevモデルにインスパイアされたプリフィルのみの決定モデルは、単一のフォワードパス中にメニュー内のすべての候補をスコアし、デコードしない。
この読み出し構造には、テスト可能なプロパティが伴っていることを示す。
介入が候補メニューだけを変更して入力テキストを固定しておくと、キャッシュされた第1パス分布によって干渉後の精度が決定される。
推定器は、パス-1確率をメニューに制限し、再正規化し、argmaxを読み取る。
7つのモデルファミリー、10つのデータセット、2つのタスクタイプ、メニューのみの介入は4.2ポイント以内で予測され、1つのファミリーでは正確に予測される。
同じ推定器 errs の確率レベルの変種は 21.0 点になるので、その性質は確率よりもランクに留まり、キャリブレーションによって回復されない。
同じスケールの生成言語モデルはプロパティを共有しない。
これらのモデルでは、モデルが成長するにつれて、同じ推定器の誤差が1.6から15.8ポイント減少する。
プロパティは推論時間計算をデプロイ前に行うことができる決定に変換する。
均一な余分なパスは、キャリブレーションを購入するが、ほぼ正確ではない。一致したコストで、信頼のカスケードは、同じモデルを割り当てるすべてのスキームを上回り、そのモデルを大きくするメニューをキュレートした5候補メニューの0.8Bモデルは、CLINC150で95.4%、フル150ラベルメニューの4Bモデルで80.0%に達する。コードとデータはhttps://github.com/rlisml/jev-cascadeで入手できる。
関連論文リスト
- Benchmarking System One decision models against trained classifiers and language models for automated decision gates [1.089614199781423]
小さな訓練された分類器は意図に対して最も正確である。
微調整された決定チェックポイントは、修正されていないバックボーンに対して意図的な精度を得る。
意図的に訓練された第1ステージがJevにエスカレートされ、その正確さは、全グラフィックスプロセッサ使用時のコストの0.43と一致する。
論文 参考訳（メタデータ） (2026-09-29T19:57:59Z) - JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。
ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。
Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
論文 参考訳（メタデータ） (2026-09-25T11:32:19Z) - Open-Weight Masked Introspection: Measuring What Language Models Can Report About Their Own Computation [8.970269049715933]
最近の研究は、複雑なモデルが自身の内部を監査し、何を変えたかを呼び出して、自信を持って報告できることを示している。
われわれはこの主張を7家族の8つのオープンウェイトモデルで検証し、そのような能力は見つからなかった。
テストのためにOpen-Weight Masked Introspection (OWMI)というフレームワークを開発しました。
論文 参考訳（メタデータ） (2026-08-20T21:09:50Z) - Lying Is Just a Phase: The Hidden Alignment Transition in Language Model Scaling [0.0]
16家系の63塩基モデルにおける推論と真理の結合度を測定した。
我々は、家族依存の臨界スケール(N_c$)以下の損失曲線を目に見えない体制変化を発見し、その上、彼らは協力する。
論文 参考訳（メタデータ） (2026-05-13T03:14:09Z) - What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。
15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。
まず、評価設計は結論を根本的に変えることができる。
第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
論文 参考訳（メタデータ） (2026-05-03T20:05:08Z) - Silhouette-based Gait Foundation Model [56.27974816297294]
統一された歩行基盤モデルを構築するには、スケーラビリティと一般化の2つの長年の障壁に対処する必要がある。
私たちは、歩行理解のための最初のスケーラブルでセルフ教師付き事前学習フレームワークであるFoundationGaitを紹介します。
論文 参考訳（メタデータ） (2025-11-30T01:53:41Z) - Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。
任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。
CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
論文 参考訳（メタデータ） (2025-10-13T21:07:05Z) - Establishing Task Scaling Laws via Compute-Efficient Model Ladders [136.76316239300363]
我々は,事前訓練された言語モデル(LM)のタスク性能を予測するために,タスクスケーリング法則とモデルはしごを開発する。
2つの予測ステップのパラメータ化関数に適合するデータポイントを収集し、2つの対象モデルの予測を行う。
ランク付けされた4つの多重選択タスクにおいて、絶対誤差の2ポイント以内で、両方のターゲットモデルの精度を予測することができる。
論文 参考訳（メタデータ） (2024-12-05T18:21:49Z) - Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。
しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。
対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
論文 参考訳（メタデータ） (2024-03-13T13:54:00Z) - Enhancing Self-Consistency and Performance of Pre-Trained Language
Models through Natural Language Inference [72.61732440246954]
大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。
本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。
ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
論文 参考訳（メタデータ） (2022-11-21T21:58:30Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。