論文の概要: Bounds of Chain-of-Thought Robustness: Reasoning Steps, Embed Norms, and Beyond

• arxiv url: http://arxiv.org/abs/2509.21284v1
• Date: Thu, 25 Sep 2025 15:04:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:13.015484
• Title: Bounds of Chain-of-Thought Robustness: Reasoning Steps, Embed Norms, and Beyond
• Title（参考訳）: チェーン・オブ・サード・ロバストネスの境界--ステップの推論、ノルムの埋め込み、その他
• Authors: Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che, Yang Deng,
• Abstract要約: 既存の研究では、CoT(Chain-of-Thought)の出力が入力摂動に大きく影響していることが示されている。 我々は,CoT出力の変動に対する入力摂動の影響を理論的に解析する。
• 参考スコア（独自算出の注目度）: 64.88201012057822
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Existing research indicates that the output of Chain-of-Thought (CoT) is significantly affected by input perturbations. Although many methods aim to mitigate such impact by optimizing prompts, a theoretical explanation of how these perturbations influence CoT outputs remains an open area of research. This gap limits our in-depth understanding of how input perturbations propagate during the reasoning process and hinders further improvements in prompt optimization methods. Therefore, in this paper, we theoretically analyze the effect of input perturbations on the fluctuation of CoT outputs. We first derive an upper bound for input perturbations under the condition that the output fluctuation is within an acceptable range, based on which we prove that: (i) This upper bound is positively correlated with the number of reasoning steps in the CoT; (ii) Even an infinitely long reasoning process cannot eliminate the impact of input perturbations. We then apply these conclusions to the Linear Self-Attention (LSA) model, which can be viewed as a simplified version of the Transformer. For the LSA model, we prove that the upper bound for input perturbation is negatively correlated with the norms of the input embedding and hidden state vectors. To validate this theoretical analysis, we conduct experiments on three mainstream datasets and four mainstream models. The experimental results align with our theoretical analysis, empirically demonstrating the correctness of our findings.
• Abstract（参考訳）: 既存の研究では、CoT(Chain-of-Thought)の出力が入力摂動に大きく影響していることが示されている。 多くの手法はプロンプトの最適化による影響を軽減することを目的としているが、これらの摂動がCoT出力にどのように影響するかの理論的な説明は研究のオープン領域として残っている。 このギャップは、入力摂動が推論過程中にどのように伝播するかの深い理解を制限し、迅速な最適化方法のさらなる改善を妨げる。 そこで本稿では,CoT出力の変動に対する入力摂動の影響を理論的に解析する。 まず、出力変動が許容範囲内にあるという条件の下で、入力摂動の上限を導出する。 (i)この上限は、CoTにおける推論ステップの数と正に相関する。 (ii)無限に長い推論過程でさえ、入力摂動の影響を排除できない。 次に、これらの結論を、トランスフォーマーの簡易版とみなすことができる線形自己認識モデルに適用する。 LSAモデルでは、入力摂動の上限が入力埋め込みと隠れ状態ベクトルのノルムと負の相関があることを証明した。 この理論解析を検証するため、3つの主流データセットと4つの主流モデルの実験を行った。 実験結果は理論的解析と一致し, 結果の正しさを実証的に証明した。

関連論文リスト

• Analysis of Fourier Neural Operators via Effective Field Theory [11.824913874212802]
  無限次元関数空間におけるFNOの体系的有効場理論解析について述べる。 非線形な活性化は、必然的に周波数入力を周波数モードに分割し、それ以外はスペクトル乱れによって破棄されることを示す。 本研究は, 非線形性によってニューラル演算子が非自明な特徴を捉えることができることの定量化と, スケール不変なアクティベーションと残差接続がFNOにおける特徴学習を促進する理由を説明するものである。
  論文  参考訳（メタデータ） (2025-07-29T14:10:46Z)
• Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers [76.42159902257677]
  我々は、両方の行動は、アウト・オブ・コンテクスト推論(OCR)として知られる単一のメカニズムに由来すると論じる。 OCRは、関連する概念が因果関係であるかによって、一般化と幻覚の両方を駆動する。 我々の研究は、OCR現象を理解するための理論的基盤を提供し、知識注入から望ましくない行動を分析し緩和するための新しいレンズを提供する。
  論文  参考訳（メタデータ） (2025-06-12T16:50:45Z)
• Are We Merely Justifying Results ex Post Facto? Quantifying Explanatory Inversion in Post-Hoc Model Explanations [87.68633031231924]
  ポストホックな説明法は、入力特徴に対する予測に起因する解釈を提供する。 これらの説明は、インプットとアウトプットの自然な関係を意図せずに逆転させるだろうか? Inversion Quantification (IQ) は、説明が出力に依存する程度を定量化し、忠実なインプット・アウトプット関係から逸脱するフレームワークである。
  論文  参考訳（メタデータ） (2025-04-11T19:00:12Z)
• A Theoretical Understanding of Chain-of-Thought: Coherent Reasoning and Error-Aware Demonstration [41.88275731297211]
  ステップワイズICLと比較して、前段からの推論が統合された場合、トランスフォーマーはより優れた誤り訂正能力とより正確な予測が得られることを示す。 実演において,正しい推論経路と誤った推論経路の両方を組み込むことにより,CoTの改善を提案する。
  論文  参考訳（メタデータ） (2024-10-21T22:07:20Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• A New Central Limit Theorem for the Augmented IPW Estimator: Variance Inflation, Cross-Fit Covariance and Beyond [0.9172870611255595]
  クロスフィッティングを用いたクロスフィッティング逆確率重み付け(AIPW)は、実際は一般的な選択肢である。 本研究では, 高次元状態における結果回帰モデルと確率スコアモデルを用いて, クロスフィット型AIPW推定器について検討する。 本研究は, メッセージパッシング理論, 決定論的等価性理論, 離脱一元的アプローチの3つの異なるツール間の新たな相互作用を利用する。
  論文  参考訳（メタデータ） (2022-05-20T14:17:53Z)
• On the Role of Entropy-based Loss for Learning Causal Structures with Continuous Optimization [27.613220411996025]
  因果構造学習問題を最小二乗損失を用いた連続最適化問題として定式化する。 ガウス雑音の仮定に違反すると因果方向の同定が妨げられることを示す。 より一般的なエントロピーに基づく損失は、任意の雑音分布下での確率スコアと理論的に一致している。
  論文  参考訳（メタデータ） (2021-06-05T08:29:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。