論文の概要: Prism-1: Position- and Rival-Independent Scoring for System One Models

• arxiv url: http://arxiv.org/abs/2610.22066v1
• Date: Thu, 15 Oct 2026 15:28:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.159582
• Title: Prism-1: Position- and Rival-Independent Scoring for System One Models
• Title（参考訳）: Prism-1: システム1モデルの位置非依存スコーリング
• Abstract要約: 合理的選択の2つの公理は、システム1決定モデルの自然な要求である。 標準読み出し、すなわちシングルチョイス質問(SCQ)のプロンプト、シャッフルオーダートレーニング、オーダ平均またはソートオプション、不変セットアーキテクチャをテストします。 これはPrism-1として実装されています: すべてのオプションは、共有された位置で独自のブロックで読み取り、モデルの通常の左から右への注意を1つのフォワードパスで読みます。
• 参考スコア（独自算出の注目度）: 14.555862181799464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a state and a set of options, such as intents, tools or interface elements, System One decision models return a distribution over the options in one forward pass, without generated reasoning. Web systems increasingly build them by reading decisions from language models. Two axioms of rational choice are natural requirements for such decisions, because in web systems the listing and the option set are determined by other components and can change or be manipulated: the order in which the options are listed should not matter, and adding an option should not change the relative odds of the others (Luce's choice axiom). We test the standard reads, namely single-choice question (SCQ) prompting, with shuffled-order training, order averaging or sorted options, and invariant set architectures, and find that each violates at least one axiom: one shuffle changes 12-20% of SCQ answers, sorting only freezes an arbitrary convention, and a well-chosen added option steers 4-34% of decisions. By Luce's theorem, a read satisfies both axioms only if it is a softmax over scores that each depend on one option alone, so in a transformer they hold by construction only if no token that scores an option sees another. We implement this as Prism-1 (Position- and Rival-Independent Scoring for System One Models): every option is read in its own block at shared positions, with the model's usual left-to-right attention, in one forward pass. On five benchmark sets with Qwen3-8B and Gemma 4 12B, SCQ prompting trained on the same data still changes 7% of its answers under one shuffle, and an added irrelevant option steers 12% of its decisions. Prism-1 stays within one point of that baseline's accuracy and is 2-4 points more accurate once only answers that survive a reordering are counted, while no shuffle changes any of its answers and no added irrelevant option moves its choice among the others.
• Abstract（参考訳）: インテント、ツール、インターフェース要素などの状態と一連のオプションが与えられた場合、System One決定モデルは、生成された推論なしに、1つのフォワードパスでオプション上の分散を返す。 Webシステムは、言語モデルから決定を読み取ることによって、ますますそれらを構築する。 合理的選択の2つの公理は、そのような決定の自然な要件である。なぜなら、Webシステムでは、リストとオプションセットは、他のコンポーネントによって決定され、オプションがリストされている順序は重要ではなく、オプションを追加することは、他のコンポーネントの相対的な確率を変えるべきではない(Luceの選択公理)。 私たちは、単一選択質問(SCQ)、すなわち、シャッフル順序トレーニング、オーダ平均またはソートされたオプション、不変のセットアーキテクチャを推し進め、それぞれが少なくとも1つの公理に違反していることを確認します。 ルースの定理により、可読性は両方の公理が1つの選択肢にのみ依存するスコアよりもソフトマックスである場合にのみ満足するので、変圧器では、ある選択肢を得点するトークンが他の選択肢を見る場合にのみ構成によって保持される。 システム1モデルのPrism-1(Position- and Rival-Independent Scoring for System One Models)として実装します。 Qwen3-8BとGemma 4 12Bの5つのベンチマークセットでは、同じデータでトレーニングされたSCQは依然として7%の回答を1シャッフルで変更している。 Prism-1 はそのベースラインの精度の1つの点に留まり、リオーダーを生き残る解のみをカウントすると、より正確に2-4点となるが、シャッフルはどの解も変更せず、追加の無関係な選択肢も他の解の中から選択を移動させる。

関連論文リスト

• One Bias Score, Two Factors: How Mitigations Affect Option Bias in Multiple-Choice Evaluation [12.219593022177028]
  複数選択の選択肢の並べ替えは、モデルの回答、選択バイアス(特定のオプション文字の好み)、順序感受性(オプション注文の回答の変化)として研究される効果を変更できる。 これらの視点をプール化された選択レート標準偏差(プールSD)を通じて接続し、質問や注文で不均一にオプションの文字が選択されるかを測定する。 各質問の全てのオプションが各位置に等しく現れるとき、プールされたSDはちょうど2つのラベルのない因子(フリップ率と位置スキュー)の積である。
  論文  参考訳（メタデータ） (2026-10-14T22:13:28Z)
• Jeva: System One Models from First Principles [58.432996881401415]
  Jevaは4つの重要な構造的要件に対処する、決定ネイティブなアーキテクチャです。 共有エンコーダは独立して要求と各オプションを表現し、コンパクトな決定スタックはイミュータブルなオプションメモリに対してのみ要求状態を洗練する。 評価全体を通じて、Jevaは強い型付き決定性能とほぼ完璧なヌル検出を組み合わせ、テストされた置換の下では決定の反転は行わない。
  論文  参考訳（メタデータ） (2026-10-13T17:31:09Z)
• Consider, Then Choose: Order-Invariant Decisions in System One Models [15.157325954348245]
  システム1モデルは、1つのフォワードパスで型付き質問に答え、同じ入力に対して同じ答えを約束します。 答えは選択肢の順序に依存し、数が増えるにつれてますます増えていき、循環的なシフトを平均化することで、取り除くことなく、この依存を減らす。 我々は、$textbfRunoff$を提案し、その選択を考慮し、選択し、いくつかの候補を保持するために各選択肢を単独でスコアし、各候補がすべての位置を占めるリストでそれらを比較します。 トレーニングを必要とせず、2つのフォワードパスで実行でき、その答えはオプションオーダーに依存しない。
  論文  参考訳（メタデータ） (2026-10-13T12:02:46Z)
• Does a Hosted Decision Model Respect Irrelevant Alternatives? A Pre-Registered Test of Option-Set Dependence in Jev [0.0]
  各オプションの確率を返す決定APIは、その確率がオプション自体の特性であるかのように、定期的に使用される。 299,463コールの意図分類とトピック分類を用いて,ホスト型決定モデルであるjev-1.13.0の事前登録試験を行った。 追加オプションはすべて、ゴールドラベルと最強の間違ったラベルの間にログを移動します。
  論文  参考訳（メタデータ） (2026-10-12T12:10:32Z)
• Likelihood Ranking doesn't Scale Like Prompting in LLMs [91.56564968539271]
  多重選択QAでは、質問セットと回答セットに標準確率ベースのスコアがまだ条件付けられている。 我々は,同じ質問対から構築された宣言文の確率ランキングに基づく補完的プロトコルについて検討する。
  論文  参考訳（メタデータ） (2026-09-24T11:16:53Z)
• Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
  NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。 教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。 我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
  論文  参考訳（メタデータ） (2026-08-30T16:35:22Z)
• Equal Ranking Quality, Different Decisions: Training Order-Consistent LLM Scorers [6.786248692886496]
  均等なランク付けの質は、決定が等しくないことを示します。 通算では0.010点中5点が0.66-0.84点と重なっていた。 OC-SFTはランキング品質を保持し、訓練されたスコアのすべての決定安定度をリードする。
  論文  参考訳（メタデータ） (2026-08-27T07:55:42Z)
• Differentiating Choices via Commonality for Multiple-Choice Question Answering [54.04315943420376]
  複数選択の質問応答は、正しい答えを選択するための貴重な手がかりを提供することができる。 既存のモデルでは、それぞれの選択を別々にランク付けし、他の選択によって提供されるコンテキストを見渡すことが多い。 本稿では,DCQAと呼ばれる共通性を識別・排除することで,選択を識別する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-08-21T12:05:21Z)
• SetRank: A Setwise Bayesian Approach for Collaborative Ranking from Implicit Feedback [50.13745601531148]
  提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。 具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。 また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
  論文  参考訳（メタデータ） (2020-02-23T06:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。