論文の概要: Maya a1: Do the Options Read the Model, or Does Their Position? Order Sensitivity in a Non-Autoregressive Decision Model
- arxiv url: http://arxiv.org/abs/2611.09803v1
- Date: Fri, 06 Nov 2026 17:54:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-10 12:00:36.749755
- Title: Maya a1: Do the Options Read the Model, or Does Their Position? Order Sensitivity in a Non-Autoregressive Decision Model
- Title(参考訳): マヤa1:オプションはモデルを読むか、その位置を読むか? -非自己回帰的決定モデルにおける順序感度-
- Abstract要約: ラヤは1つの[MASK]マーカーで隠れた状態をスコアリングすることで、1つのフォワードパスで複数の選択の質問をタイプした。
私たちはチェックポイントを再設計し、その答えがどのオプションがリストされているかに依存するかどうかテストします。
ラヤのトレーナーを2,818列の教師認定行に微調整し、オプションシャッフルでフリップレートを7.2%に下げる。
信頼度に富んだ投票では、69.7%が計算の4.1倍の1塩基パスで69.1%である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Laya answers typed multiple-choice questions in one forward pass by scoring a hidden state at one [MASK] marker per option. We re-engineer the checkpoint (421M parameters; a 2-layer option head with no positional tensor; a documented but unused parallel layout) and test whether the answer depends on where an option is listed. Presenting 951 Qwen-verified questions under every cyclic rotation of their options (or six random permutations for 12 options), the released checkpoint changes its answer for 25.8% [22.9-28.7] of questions (19.7% on the 605 English-language items alone); accuracy with the gold option first versus last differs by 10.1 points, and the flips concentrate where the model's own confidence is low (54% versus 8% across confidence terciles). Fine-tuning with Laya's trainer on 2,818 teacher-verified rows with option shuffling cuts the flip rate to 7.2%; the identical rows without shuffling give 11.4%, so shuffling is responsible for 4.2 points of the improvement. A confidence-weighted vote over orderings gives 69.7% against 69.1% for a single base pass at 4.1x the compute. Labels are LLM-made and the test sets are teacher-filtered. We also fine-tune with the authors' parallel layout on the same rows: flip rate 0.5%.
- Abstract(参考訳): ラヤの答えは、1つの[MASK]マーカーで隠れた状態をスコアリングすることで、1つのフォワードパスで複数の選択の質問をタイプする。
我々は、チェックポイント(421Mパラメータ、位置テンソルのない2層オプションヘッド、文書化されていない並列レイアウト)を再設計し、その答えがどのオプションがリストされているかに依存するかどうかをテストする。
951 Qwen-verified Questions under every cyclic rotation of their options ( or six random permutations for 12 options) では、リリースされたチェックポイントが25.8% [22.9-28.7]の質問に対して回答を変更する(605の英語項目だけで19.7%)。
ラヤの練習機で2,818本の教師認定行を選択シャッフルすることでフリップレートが7.2%に削減され、シャッフルなしの同一行は11.4%となり、シャッフルは4.2ポイントの改善を担っている。
信頼度に富んだ投票では、69.7%が計算の4.1倍の1塩基パスで69.1%である。
ラベルはLLMで、テストセットは教師が作成する。
また、著者の並列レイアウトを同じ行に微調整します。
関連論文リスト
- Swap, Replicate, Read the Mass: A Protocol for Auditing Demographic Bias in System One Decision Models [41.99844472131922]
システム1決定モデルは、テキスト生成を型付き、確率対応の回答に置き換え、生産に入る。
BBQ(全11カテゴリ)、CrowS-Pairs、SilverSpoonの3つのベンチマークを、型付きインターフェースに適合させる。
我々は、偏見よりも不安定性を追跡するような、広範囲なステレオタイプアライメント、秩序に依存した回答、信頼を見いだす。
論文 参考訳(メタデータ) (2026-10-31T00:36:15Z) - ufakzeka-karar: An Open Turkish Typed-Decision Model with Order-Invariant Option Scoring [0.0]
ufakzeka-kararは182,494,466のパラメータを持つトルコのオープンな決定モデルである。
任意のオプションに対する温度スケールの確率と期待されるエラーを返します。
REINFORCEはマクロF1の10.2ポイント (0.102) をクロスエントロピーに損失した。
論文 参考訳(メタデータ) (2026-10-05T17:22:23Z) - Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。
固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。
分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
論文 参考訳(メタデータ) (2026-09-29T14:15:04Z) - Turkish MMLU Pro: Traceable Option Augmentation and Its Validity Limits in Turkish Multiple-Choice Evaluation [0.0]
回答オプションを追加することで、評価の妥当性を向上することなく、複数の選択のスコアを下げることができる。
トルコのMMLU Proは58のセクションで12,000のトルコ語ソースの質問を用いてこの区別を検証している。
論文 参考訳(メタデータ) (2026-09-14T12:28:09Z) - Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。
教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。
我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
論文 参考訳(メタデータ) (2026-08-30T16:35:22Z) - Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks [0.0]
複数選択のベンチマークは、モデルが正しい選択肢を選ぶかどうか、質問が必要なかどうかで評価される。
UA-JudgeExam: 11,990件の4つのオプション項目を公式キーで測定し、ウクライナの高等審査委員会(Higher Qualification Commission of Judges)が公表した。
11.8%のアイテムは、偶然に予想される0.2項目に対して、8つのオプションのすべてで盲目で答えられる。
論文 参考訳(メタデータ) (2026-08-15T22:11:00Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳(メタデータ) (2026-07-29T15:55:31Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳(メタデータ) (2026-05-17T07:08:14Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳(メタデータ) (2020-06-16T19:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。