論文の概要: AnyJev Technical Report
- arxiv url: http://arxiv.org/abs/2610.00831v1
- Date: Wed, 30 Sep 2026 23:43:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.806863
- Title: AnyJev Technical Report
- Title(参考訳): AnyJevテクニカルレポート
- Abstract要約: 型付き決定は、テキストではなく確率として返される固定されたオプションのセットの選択である。
このレポートでは、事前訓練された命令チューニング言語モデルの1つのプリフィルから型付き決定を読み取るAnyJevについて説明する。
- 参考スコア(独自算出の注目度): 30.983024823617853
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A typed decision is a choice among a fixed set of options, returned as a probability rather than as text. Systems that need typed decisions today use models trained for that purpose. This report describes AnyJev, which reads a typed decision from one prefill of a pretrained instruction-tuned language model. The readout restricts the next-token distribution at the answer position to the option tokens. It has two defects: the model assigns higher probability to some labels whatever the input, and to some positions in the option list. AnyJev corrects both with no gradient steps and no parameter changes: it divides out a label prior estimated from unlabelled inputs, and it averages log-probabilities over the K cyclic rotations of the option list. On two 20-option tasks the rotations lower the order-flip rate from 0.33 to 0.14 and from 0.33 to 0.18, and raise accuracy on 11 of 11 models on both. Reading every rotation requires K prefills. A stopping rule selected against the full-rotation decision on unlabelled states cuts that. Selecting the threshold on one unlabelled split and bounding its disagreement on a second, it reads 10.6 rotations of 18 at a verified 0.008 bound on two of four cells; selected and bounded on one split, as our serving run did, it reads 7.3 and serves 2.2 times as many decisions per second on vLLM. The code is open source.
- Abstract(参考訳): 型付き決定は、テキストではなく確率として返される固定されたオプションのセットの選択である。
現在型付け決定を必要とするシステムは、その目的のためにトレーニングされたモデルを使用する。
このレポートでは、事前訓練された命令チューニング言語モデルの1つのプリフィルから型付き決定を読み取るAnyJevについて説明する。
読み出しは、オプショントークンに対する応答位置における次のトークン分布を制限する。
モデルには2つの欠陥がある: モデルは、入力がどんなものであっても高い確率をラベルに割り当て、オプションリストのいくつかの位置に割り当てる。
AnyJevは勾配のステップもパラメータの変化も無く修正し、ラベルを未ラベルの入力から分割し、オプションリストのK巡回回転よりもログ確率を平均化する。
2つの20オプションタスクでは、ローテーションはオーダーフリップ率を0.33から0.14から0.33から0.18に下げ、どちらも11モデル中11モデルで精度を上げる。
すべての回転を読むには、K のプリフィルが必要である。
乱れのない州に対する全回転決定に対して選択された停止規則はそれを減じる。
1つのスプリットの閾値を選択して、その不一致を1秒に制限し、18の10.6回転を4つのセルのうち2つで検証された0.008で読み取り、選択して1つのスプリットにバウンドし、サーブランが行ったように7.3を読み、vLLMで毎秒2.2倍の判定を処理します。
コードはオープンソースです。
関連論文リスト
- Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。
固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。
分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
論文 参考訳(メタデータ) (2026-09-29T14:15:04Z) - Scoring the Wrong Question: Readout Failures in Constrained-Option Evaluation [8.13968851214856]
本稿では,複数の選択項目を引用したプロンプトについて検討し,各項目の回答指示に終止符を打つ。
我々は、短いメモのみを与えられた読者モデルが正しく答えるかどうかの予測を求める。
3つのQwen3チェックポイントでは、回答レターが最も可能なトークンである。
論文 参考訳(メタデータ) (2026-09-27T03:58:18Z) - NumericJev: Jev-like LLM Numerical Decoding with Multiway Decision Trees [15.580786558697335]
Jevライクなモデルは構造化された選択を公開しているが、これらのインタフェースは要求された精度で数値を直接提供しない。
本研究では,NUMERICJEVを提案する。
正しい答えを含む候補リストからの直接選択を2.93ポイント上回る。
論文 参考訳(メタデータ) (2026-09-23T13:53:39Z) - Type-Safe Is Not Error-Free: A Constrained Decision Head Follows the Option Name, Not the Rubric Bound to It [10.956670143484502]
Jev と 2 つの Jev 様モデルを開重み付きで研究し、選択名がどのようにルーブリックに割り当てられるかを変更する。
各ルーブリックに割り当てられるオプション名のみを変更します。質問、状態、ルーブリック、オプション名のセットは、まったく同じです。
タスク固有のルーリックによる1200のワークフロー決定では、0/1からno/yesへの2つのオプションの改名により、100 95%のCIに対して70.4以上の回答が得られた: [67.6, 73.1] と AUC を.94 から.23 にシフトし、単純な不確実性ではなく、決定ランクの体系的な逆転を明らかにした。
論文 参考訳(メタデータ) (2026-09-22T17:38:12Z) - One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。
また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。
Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
論文 参考訳(メタデータ) (2026-09-20T14:54:35Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳(メタデータ) (2026-06-01T04:43:36Z) - Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions
with "Spurious" Correlations [44.99833362998488]
テスト時のデータ分散の変化は、予測モデルのパフォーマンスに有害な影響を及ぼす可能性がある。
本研究では,未ラベルサンプルに適用したEMを用いて,共同分布の$p(y, z)$の変化に適応するテストタイムラベルシフト補正を提案する。
論文 参考訳(メタデータ) (2022-11-28T18:52:33Z) - Detecting Handwritten Mathematical Terms with Sensor Based Data [71.84852429039881]
本稿では,手書きの数学的用語を自動分類する,スタビロによるUbiComp 2021チャレンジの解を提案する。
入力データセットには異なるライターのデータが含まれており、ラベル文字列は合計15の異なる文字から構成されている。
論文 参考訳(メタデータ) (2021-09-12T19:33:34Z) - Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。
そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
論文 参考訳(メタデータ) (2020-10-23T08:33:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。