論文の概要: Beyond In-Distribution Success: Scaling Curves of CoT Granularity for Language Model Generalization

• arxiv url: http://arxiv.org/abs/2502.18273v1
• Date: Tue, 25 Feb 2025 15:04:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 18:40:54.455937
• Title: Beyond In-Distribution Success: Scaling Curves of CoT Granularity for Language Model Generalization
• Title（参考訳）: 分散における成功を超えて:言語モデル一般化のためのCoT粒度のスケーリング曲線
• Authors: Ru Wang, Wei Huang, Selena Song, Haoyu Zhang, Yusuke Iwasawa, Yutaka Matsuo, Jiaxian Guo,
• Abstract要約: 変圧器に基づく言語モデル(LM)の展開において、分散シフト下における新しい複合タスクへの一般化が重要である 本研究は、OODの一般化を促進する手段として、Chain-of-Thought (CoT)推論を考察する。
• 参考スコア（独自算出の注目度）: 35.16980045900664
• License:
• Abstract: Generalization to novel compound tasks under distribution shift is important for deploying transformer-based language models (LMs). This work investigates Chain-of-Thought (CoT) reasoning as a means to enhance OOD generalization. Through controlled experiments across several compound tasks, we reveal three key insights: (1) While QA-trained models achieve near-perfect in-distribution accuracy, their OOD performance degrades catastrophically, even with 10000k+ training examples; (2) the granularity of CoT data strongly correlates with generalization performance; finer-grained CoT data leads to better generalization; (3) CoT exhibits remarkable sample efficiency, matching QA performance with much less (even 80%) data. Theoretically, we demonstrate that compound tasks inherently permit shortcuts in Q-A data that misalign with true reasoning principles, while CoT forces internalization of valid dependency structures, and thus can achieve better generalization. Further, we show that transformer positional embeddings can amplify generalization by emphasizing subtask condition recurrence in long CoT sequences. Our combined theoretical and empirical analysis provides compelling evidence for CoT reasoning as a crucial training paradigm for enabling LM generalization under real-world distributional shifts for compound tasks.
• Abstract（参考訳）: 分散シフト下での新規な複合タスクへの一般化は、トランスフォーマーベース言語モデル(LM)の展開に重要である。 本研究は、OODの一般化を促進する手段として、Chain-of-Thought (CoT)推論を考察する。 複合タスク間の制御された実験により,(1)QA学習モデルでは,約10000k以上のトレーニング例であっても,ほぼ完全な分配精度が得られたが,そのOOD性能は破滅的に低下する。(2)CoTデータの粒度は一般化性能と強く相関する。 理論的には、複合タスクは、真理化の原則に反するQ-Aデータのショートカットを本質的に許容する一方、CoTは有効な依存構造の内在化を強制し、より良い一般化を実現することができる。 さらに,長いCoT配列におけるサブタスク条件の再現性を強調することにより,トランスフォーマーの位置埋め込みが一般化を増幅できることを示す。 理論的および経験的分析を組み合わせることで、複合タスクの現実的な分散シフトの下でのLM一般化を可能にするための重要な訓練パラダイムとして、CoT推論の有力な証拠が得られる。

関連論文リスト

• Unveiling the Mechanisms of Explicit CoT Training: How Chain-of-Thought Enhances Reasoning Generalization [9.191236388401226]
  高品質なChain-of-Thought(CoT)アノテーションを用いた大規模言語モデルのトレーニングが広く採用されている。 我々は,CoT を用いたトレーニングにより推論の一般化が著しく改善され,ID とout-of-distriion (OOD) の両方のシナリオに拡張され,収束のスピードが向上することを示した。 本研究は, 明示的CoTトレーニングの基盤となるメカニズムを解明し, 堅牢な一般化を実現するため, LLMのチューニング戦略に対する重要な洞察を提供するものである。
  論文  参考訳（メタデータ） (2025-02-07T05:21:13Z)
• Transformers Provably Solve Parity Efficiently with Chain of Thought [40.78854925996]
  この研究は、複雑な問題を解決するためのトレーニングトランスの最初の理論的解析を提供する。 我々は、基本的な$k$-parity問題を解くために、1層トランスを訓練することを検討する。
  論文  参考訳（メタデータ） (2024-10-11T08:55:17Z)
• From Sparse Dependence to Sparse Attention: Unveiling How Chain-of-Thought Enhances Transformer Sample Efficiency [17.612497960364916]
  CoT(Chain-of-Thought)は大規模言語モデル(LLM)の推論性能を著しく向上させる 代表電力が十分である場合でも,CoTは試料効率を大幅に向上できることを示す。 CoTは入力トークン間のスパース依存関係を導入して学習プロセスを単純化し、スパースかつ解釈可能な注意を喚起することを示す。
  論文  参考訳（メタデータ） (2024-10-07T19:45:09Z)
• Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis [82.51626700527837]
  チェーン・オブ・シフト(Chain-of-shift, CoT)は、複数の中間ステップを持つ例を用いてクエリを増強することにより、大規模言語モデルの推論能力を実現する効率的な手法である。 CoT の理論的成功にもかかわらず、CoT が成立しても正確な一般化が得られないことを示す。
  論文  参考訳（メタデータ） (2024-10-03T03:12:51Z)
• Expediting and Elevating Large Language Model Reasoning via Hidden Chain-of-Thought Decoding [14.175444025026508]
  大規模言語モデル(LLM)は、チェーン・オブ・シント(CoT)のプロンプトを必要とするタスクにおいて顕著な機能を示した。 完全なCoTプロセスを生成すると、出力シーケンスが大幅に長くなり、推論時の計算コストと遅延が増大する。 セマンティックアライメントによってCoTプロセスを圧縮し、CoT推論の利点を保ちながらより効率的な復号化を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T06:29:20Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。