論文の概要: IJev: Order-Invariant Decisions via Iterated Cyclic Reordering
- arxiv url: http://arxiv.org/abs/2611.01015v1
- Date: Sat, 31 Oct 2026 14:56:44 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:49:48.426068
- Title: IJev: Order-Invariant Decisions via Iterated Cyclic Reordering
- Title(参考訳): IJev: 反復サイクルリオーダーによるオーダー不変決定
- Abstract要約: システム1決定モデルは、1つの前方通過で選択問題に答えるが、その答えは選択肢がリストされる順序に依存し、確率は先行する回答ラベルを持つ。
不変順序演算子 (invariant ordering operator) は、任意の固定関数で、固定されたオプションセットの入力順序ごとに同じ順序のオプションリストを返す。
IJev は,周期的優先度の高いラベル補正分布によって繰り返しオプションを順序付けし,また別の周期平均を実行する。
- 参考スコア(独自算出の注目度): 4.846046332284156
- License:
- Abstract: System One decision models answer a choice question in one forward pass, but their answer depends on the order in which options are listed, and their probabilities carry a prior over answer labels. An invariant ordering operator is any fixed function that returns the same ordered option list for every input order of a fixed option set. Starting from any such order and averaging a listwise readout over its K cyclic shifts removes the input order, but the decision still depends on the chosen cyclic class: those $K$ shifts are only one of the (K-1)! classes, and different invariant operators can select different classes. We propose IJev, which repeatedly reorders the options by the cyclic-averaged, label-prior-corrected distribution and runs another cyclic average. Every iterate is exactly input-order-invariant. When the iteration does not converge, we average the round distributions rather than return the last round. On five benchmarks and five models, IJev has flip rate zero in every cell. The default uniform average over T=20 rounds substantially improves calibration over a single cyclic average, and its accuracy is comparable. A descriptive choice of horizon and averaging rule is best or tied-best for accuracy in all 25 settings.
- Abstract(参考訳): システム1決定モデルは、1つの前方通過で選択問題に答えるが、その答えは選択肢がリストされる順序に依存し、確率は先行する回答ラベルを持つ。
不変順序演算子 (invariant ordering operator) は、任意の固定関数で、固定されたオプションセットの入力順序ごとに同じ順序のオプションリストを返す。
そのような順序から始めて、その K 巡回シフトに対するリストワイズ読み出しを平均化すると、入力順序は取り除かれるが、決定は依然として選択された巡回クラスに依存している:これらの$K$シフトは (K-1)! クラスの1つに過ぎず、異なる不変作用素は異なるクラスを選択することができる。
IJev は,周期平均値とラベル補正値の繰り返し順序を補正し,周期平均を出力する。
全てのイテレートは正確に入力順序不変である。
イテレーションが収束しない場合、最終ラウンドを返すのではなく、ラウンド分布を平均化する。
5つのベンチマークと5つのモデルにおいて、IJevはすべてのセルでフリップレートゼロである。
T=20ラウンドのデフォルトの均一平均は、単一の循環平均よりもキャリブレーションを大幅に改善し、その精度は同等である。
水平線と平均化ルールの記述的な選択は、25のすべての設定において、正確さのために最善か最善である。
関連論文リスト
- Prism-1: Position- and Rival-Independent Scoring for System One Models [14.555862181799464]
合理的選択の2つの公理は、システム1決定モデルの自然な要求である。
標準読み出し、すなわちシングルチョイス質問(SCQ)のプロンプト、シャッフルオーダートレーニング、オーダ平均またはソートオプション、不変セットアーキテクチャをテストします。
これはPrism-1として実装されています: すべてのオプションは、共有された位置で独自のブロックで読み取り、モデルの通常の左から右への注意を1つのフォワードパスで読みます。
論文 参考訳(メタデータ) (2026-10-15T15:28:30Z) - Jeva: System One Models from First Principles [58.432996881401415]
Jevaは4つの重要な構造的要件に対処する、決定ネイティブなアーキテクチャです。
共有エンコーダは独立して要求と各オプションを表現し、コンパクトな決定スタックは要求状態のみを洗練する。
Jevとオープンソースモデルに対する評価全般において、Jevaは強力な型付き決定性能とほぼ完璧なnull検出を組み合わせる。
論文 参考訳(メタデータ) (2026-10-13T17:31:09Z) - Consider, Then Choose: Order-Invariant Decisions in System One Models [15.157325954348245]
システム1モデルは、1つのフォワードパスで型付き質問に答え、同じ入力に対して同じ答えを約束します。
答えは選択肢の順序に依存し、数が増えるにつれてますます増えていき、循環的なシフトを平均化することで、取り除くことなく、この依存を減らす。
我々は、$textbfRunoff$を提案し、その選択を考慮し、選択し、いくつかの候補を保持するために各選択肢を単独でスコアし、各候補がすべての位置を占めるリストでそれらを比較します。
トレーニングを必要とせず、2つのフォワードパスで実行でき、その答えはオプションオーダーに依存しない。
論文 参考訳(メタデータ) (2026-10-13T12:02:46Z) - AnyJev Technical Report [30.983024823617853]
型付き決定は、テキストではなく確率として返される固定されたオプションのセットの選択である。
このレポートでは、事前訓練された命令チューニング言語モデルの1つのプリフィルから型付き決定を読み取るAnyJevについて説明する。
論文 参考訳(メタデータ) (2026-09-30T23:43:04Z) - One Pass, Any Order: Position-Invariant Listwise Reranking for LLM-Based Recommendation [2.5827686695037335]
大規模言語モデル(LLM)は、再ランク付けにますます使用されるが、それらのリストワイズ予測は、候補が提示される順序に依存する可能性がある。
これにより、セットベースのレコメンデーションとデコーダのみのLLMのシーケンスベースの計算のミスマッチが生成される。
InvariRankは、アーキテクチャレベルでこの依存に対処する置換不変なリストワイド・リグレード・フレームワークである。
論文 参考訳(メタデータ) (2026-04-30T08:49:44Z) - From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。
実現可能な最小二乗の設定において、新しい最上界を創出する。
我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
論文 参考訳(メタデータ) (2025-04-06T18:39:45Z) - Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models [63.714662435555674]
大規模言語モデル(LLM)は、文脈の使い方に位置バイアスを示す。
我々は,ブラックボックスLLMのランキングリスト出力に対して,自己整合性(permutation self-consistency)を提案する。
LLaMA v2 (70B) では GPT-3.5 では 7-18% , LLaMA v2 (70B) では 8-16% である。
論文 参考訳(メタデータ) (2023-10-11T17:59:02Z) - Discovering Non-monotonic Autoregressive Orderings with Variational
Inference [67.27561153666211]
我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。
エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。
言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
論文 参考訳(メタデータ) (2021-10-27T16:08:09Z) - Conditional Uncorrelation and Efficient Non-approximate Subset Selection
in Sparse Regression [72.84177488527398]
相関性の観点からスパース回帰を考察し,条件付き非相関式を提案する。
提案手法により、計算複雑性は、スパース回帰における各候補部分集合に対して$O(frac16k3+mk2+mkd)$から$O(frac16k3+frac12mk2)$に削減される。
論文 参考訳(メタデータ) (2020-09-08T20:32:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。