論文の概要: Consider, Then Choose: Order-Invariant Decisions in System One Models
- arxiv url: http://arxiv.org/abs/2610.18233v1
- Date: Tue, 13 Oct 2026 12:02:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.607371
- Title: Consider, Then Choose: Order-Invariant Decisions in System One Models
- Title（参考訳）: システム 1 モデルにおける順序不変決定について考えてみましょう。
- Abstract要約: システム1モデルは、1つのフォワードパスで型付き質問に答え、同じ入力に対して同じ答えを約束します。
答えは選択肢の順序に依存し、数が増えるにつれてますます増えていき、循環的なシフトを平均化することで、取り除くことなく、この依存を減らす。
我々は、$textbfRunoff$を提案し、その選択を考慮し、選択し、いくつかの候補を保持するために各選択肢を単独でスコアし、各候補がすべての位置を占めるリストでそれらを比較します。
トレーニングを必要とせず、2つのフォワードパスで実行でき、その答えはオプションオーダーに依存しない。
- 参考スコア（独自算出の注目度）: 15.157325954348245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: System One models answer typed questions in a single forward pass and promise the same answer for the same input. For choice questions, this promise fails: the answer depends on the order of the options, increasingly so as they grow in number, and averaging over their cyclic shifts reduces this dependence without removing it. Scoring each option alone, which the order cannot affect, shows that the order changes the answer mostly when the model is unsure among its top few options, even though the listwise answer looks confident. We therefore propose $\textbf{Runoff}$, which considers, then chooses: it scores each option alone to keep a few candidates, then compares them in listings where each candidate takes every position. It needs no training and can run in two forward passes, and its answer does not depend on the option order by construction. On two open models and five datasets, it changes no answer under shuffling, against 9.3% for cyclic averaging, and with 20 options it is about as accurate and three to four times faster. Wrapped around eight System One models, it removes the order dependence of the five benchmarks, while cyclic averaging changes up to 15.4%.
- Abstract（参考訳）: システム1モデルは、1つのフォワードパスで型付き質問に答え、同じ入力に対して同じ答えを約束します。
答えは選択肢の順序に依存し、数が増えるにつれてますます増えていき、循環的なシフトを平均化することで、取り除くことなく、この依存を減らす。
順序に影響を与えない各選択肢をひとつに表すことは、モデルが最上位の選択肢の中で不確実な場合の順番がほとんど変化することを示しています。
そこで、我々は$\textbf{Runoff}$を提案し、次に選択する: それは、いくつかの候補を保持するために、各選択肢を単独でスコアし、各候補がすべての位置を取るリストでそれらを比較します。
トレーニングを必要とせず、2つのフォワードパスで走ることができ、その答えは建設によるオプションオーダーに依存しない。
2つのオープンモデルと5つのデータセットで、循環平均化の9.3%に対してシャッフル下での回答は変更されず、20のオプションで約3倍から4倍の精度を持つ。
8つのSystem Oneモデルにラップされ、5つのベンチマークの順序依存を排除し、サイクル平均は15.4%まで変化する。
関連論文リスト
- Jeva: System One Models from First Principles [58.432996881401415]
Jevaは4つの重要な構造的要件に対処する、決定ネイティブなアーキテクチャです。
共有エンコーダは独立して要求と各オプションを表現し、コンパクトな決定スタックはイミュータブルなオプションメモリに対してのみ要求状態を洗練する。
評価全体を通じて、Jevaは強い型付き決定性能とほぼ完璧なヌル検出を組み合わせ、テストされた置換の下では決定の反転は行わない。
論文 参考訳（メタデータ） (2026-10-13T17:31:09Z) - Does a Hosted Decision Model Respect Irrelevant Alternatives? A Pre-Registered Test of Option-Set Dependence in Jev [0.0]
各オプションの確率を返す決定APIは、その確率がオプション自体の特性であるかのように、定期的に使用される。
299,463コールの意図分類とトピック分類を用いて,ホスト型決定モデルであるjev-1.13.0の事前登録試験を行った。
追加オプションはすべて、ゴールドラベルと最強の間違ったラベルの間にログを移動します。
論文 参考訳（メタデータ） (2026-10-12T12:10:32Z) - SanSi: A Looped Typed Decision Model for System 1.5 Thinking [25.412761430847365]
我々は、1つのパスと生成された推論の間に何が存在するかを研究する。
本研究では,事前学習したループ言語モデルを型決定モデルに変換するSanSiを提案する。
59のソースから10,027のテスト判断で、SanSiは72.0%の精度に達した。
論文 参考訳（メタデータ） (2026-10-06T04:28:22Z) - Your Benchmark Is Not Saturated: Reviving Multiple-Choice Evaluation with Answer Pooling [3.705718227493618]
マルチ選択ベンチマークは、グレードが安く、不在です。
私たちはAnswerPoolを提案します: コンテキストを共有する$N$の質問を受け取り、すべてのオプションを1つのリストにまとめ、モデルにその答えを割り当てるように頼みます。
論文 参考訳（メタデータ） (2026-09-28T14:57:53Z) - Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。
教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。
我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
論文 参考訳（メタデータ） (2026-08-30T16:35:22Z) - No Single Best Model for Diversity: Learning a Router for Sample Diversity [69.53166985556759]
本稿では,有効な応答の集合を包括的に抽出する手法について検討する。
本稿では,各回答に割り当てられた品質スコアを計測する指標であるtextbfdiversity Cover を紹介する。
各プロンプトには、多様な回答セットを生成する際に、他のすべてのモデルよりも大幅に優れるモデルが存在する。
論文 参考訳（メタデータ） (2026-04-02T17:58:37Z) - Answer Matching Outperforms Multiple Choice for Language Model Evaluation [35.90520208701438]
人気のあるベンチマークから選択した複数の質問が、その質問を見ることなく答えられることがよくあります。
応答マッチングと呼ばれる手法による生成的評価について検討する。
論文 参考訳（メタデータ） (2025-07-03T17:59:02Z) - Differentiating Choices via Commonality for Multiple-Choice Question Answering [54.04315943420376]
複数選択の質問応答は、正しい答えを選択するための貴重な手がかりを提供することができる。
既存のモデルでは、それぞれの選択を別々にランク付けし、他の選択によって提供されるコンテキストを見渡すことが多い。
本稿では,DCQAと呼ばれる共通性を識別・排除することで,選択を識別する新しいモデルを提案する。
論文 参考訳（メタデータ） (2024-08-21T12:05:21Z) - Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。
ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。
本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
論文 参考訳（メタデータ） (2023-07-08T04:32:17Z) - Answer Generation for Retrieval-based Question Answering Systems [80.28727681633096]
シーケンス・トゥ・シークエンス・トランスモデルを訓練し、候補集合から解を生成する。
英語のAS2データセットを3つ比較したところ, 精度は32点まで向上した。
論文 参考訳（メタデータ） (2021-06-02T05:45:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。