論文の概要: Order-Invariant Answers, Order-Sensitive Representations in Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2609.28442v2
• Date: Wed, 30 Sep 2026 16:14:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 04:51:24.275131
• Title: Order-Invariant Answers, Order-Sensitive Representations in Mathematical Reasoning
• Title（参考訳）: 数理推論における次数不変解,次数知覚表現
• Abstract要約: 意味を変えずに数学的ルールの集合を順序付けすることは、正しい答えを保たなければならないが、モデルの内部表現も不変でなければならないのか? 合成多段階関数合成問題を用いて, それぞれ同じ正解の複数の規則順序で表される問題について検討する。 1Bから8Bのパラメータを含む16の言語モデルにまたがってパターンを見つける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reordering a set of mathematical rules without changing its meaning should preserve the correct answer, but must a model's internal representations stay invariant too? We investigate this question using synthetic multi-step function-composition problems, each presented under multiple rule orderings with the same correct answer. We measure accuracy and permutation signal-to-noise ratio (SNR), which quantifies how distinctly ordering patterns are represented relative to variation across problem instances. Across 16 language models ranging from 1B to 8B parameters, we find a pattern: models that solve reordered problems more accurately represent different rule orderings more distinctly. Layer-averaged permutation SNR is positively rank-correlated with accuracy in every synthetic setting we evaluate, with Spearman correlations reaching 0.86. These findings highlight a distinction between answer invariance and representation invariance: successful mathematical rule composition can accompany distinct internal representations between equivalent rule orderings. This motivates distinguishing answer invariance from representation invariance, and offers a representational perspective on mathematical reasoning beyond answer accuracy alone.
• Abstract（参考訳）: 意味を変えずに数学的規則の集合を順序付けすることは正しい答えを保たなければならないが、モデルの内部表現も不変でなければならないのか? 合成多段階関数合成問題を用いて, それぞれ同じ正解の複数の規則順序で表される問題について検討する。 SNR(Science and permutation signal-to-noise ratio)を計測し、問題インスタンス間の変動に対して、パターンがいかに明確に順序づけられるかを定量化する。 1Bから8Bのパラメータを含む16の言語モデルにまたがってパターンを見つける。 層平均置換SNRは, 評価した合成条件ごとに正のランク相関を示し, スピアマン相関は0.86である。 数学的な規則構成の成功は、等価な規則順序の間の異なる内部表現を伴う可能性がある。 これは、解の不変性と表現不変性を区別する動機となり、解の正確性以外の数学的推論の表現的視点を提供する。

関連論文リスト

• A Compositional Theory of Causally Masked Transformers [50.88598486616582]
  モデルが実装した力学から直接表現性を導出する形式化を開発する。 各アテンションヘッドは、レイヤ内で独立して自身の状態を更新する。 修正されたソフトアテンションは、不可逆なチェックリストのような状態をサポートする。
  論文  参考訳（メタデータ） (2026-07-29T14:47:19Z)
• A Mechanistic Study of Tabular Foundation Models [12.26738662548555]
  タブラル基礎モデルは、様々な分類タスクと回帰タスクに精度で収束する。 これは、リーダーボードが答えられない疑問を引き起こす。 i)モデルが同一のコンテキスト内アルゴリズムを実行するかどうか,(ii)行,列,およびクラス置換不変性が生じるか,および(iii)モデルが推論されたメカニズムに対してエンジニアリングされた摂動下にあるか,の3つを特徴付ける。
  論文  参考訳（メタデータ） (2026-05-20T15:23:16Z)
• Learning Unbiased Permutations via Flow Matching [22.51828421737954]
  PermFlowは、置換学習のための条件付きフローマッチングフレームワークである。 単一のモードに折り畳むのではなく、マルチモーダルな置換分布をキャプチャする。 あいまいな入力に対して高い精度を実現し、あいまいさの下で両方の有効な置換を復元する。
  論文  参考訳（メタデータ） (2026-05-16T02:10:35Z)
• Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance [72.50214227616728]
  解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。 特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
  論文  参考訳（メタデータ） (2023-04-13T17:59:03Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Stochastic Variance Reduction for Variational Inequality Methods [19.061953585686986]
  凸凹サドル点問題, 単調変位不等式, 単調包含問題に対する分散化アルゴリズムを提案する。 私たちのフレームワークは、ユークリッドとブレグマンの両方で、エクストラグラデーション、フォワードバックワード、フォワードリフレクテッドバックワードメソッドに適用されます。
  論文  参考訳（メタデータ） (2021-02-16T18:39:16Z)
• Regularizing Towards Permutation Invariance in Recurrent Models [26.36835670113303]
  我々は、RNNが置換不変性に対して規則化可能であることを示し、その結果、コンパクトモデルが得られることを示した。 既存のソリューションは、主に、設計によって不変な置換性を持つ仮説クラスに学習問題を限定することを提案している。 提案手法は,合成および実世界のデータセットにおける他の置換不変手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-25T07:46:51Z)
• Variance-Reduced Splitting Schemes for Monotone Stochastic Generalized Equations [0.0]
  演算子を期待値とする単調な包摂問題を考える。 分割スキームの直接適用は、各ステップにおける期待値マップによる問題解決の必要性により複雑である。 本稿では,不確実性に対処する手法を提案する。
  論文  参考訳（メタデータ） (2020-08-26T02:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。