Fugu-MT 論文翻訳(概要): A Theoretical Framework for OOD Robustness in Transformers using Gevrey Classes

論文の概要: A Theoretical Framework for OOD Robustness in Transformers using Gevrey Classes

arxiv url: http://arxiv.org/abs/2504.12991v2
Date: Fri, 30 May 2025 14:14:36 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-02 17:26:04.980528
Title: A Theoretical Framework for OOD Robustness in Transformers using Gevrey Classes
Title（参考訳）: ゲーブリークラスを用いた変圧器のOODロバスト性に関する理論的枠組み
Authors: Yu Wang, Fu-Chieh Chang, Pei-Yuan Wu,
Abstract要約: セマンティック・アウト・オブ・ディストリビューション・シフト下でのトランスフォーマー言語モデルのロバスト性について検討する。 We derived sub-exponential upper bounds on prediction error using Wasserstein-1 distance and Gevrey-class smoothness。
参考スコア（独自算出の注目度）: 5.236910203359897
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the robustness of Transformer language models under semantic out-of-distribution (OOD) shifts, where training and test data lie in disjoint latent spaces. Using Wasserstein-1 distance and Gevrey-class smoothness, we derive sub-exponential upper bounds on prediction error. Our theoretical framework explains how smoothness governs generalization under distributional drift. We validate these findings through controlled experiments on arithmetic and Chain-of-Thought tasks with latent permutations and scalings. Results show empirical degradation aligns with our bounds, highlighting the geometric and functional principles underlying OOD generalization in Transformers.
Abstract（参考訳）: 本研究では,意味的アウト・オブ・ディストリビューション(OOD)シフト下でのTransformer言語モデルのロバスト性について検討する。 Wasserstein-1 距離と Gevrey-class smoothness を用いて予測誤差の亜指数上界を導出する。我々の理論的枠組みは、分布流下での滑らかさが一般化をいかに支配するかを説明する。本研究は,潜時変分とスケーリングを用いた算術および待ち行列タスクの制御実験により,これらの結果を検証する。その結果,変換器におけるOOD一般化の基礎となる幾何学的・機能的原理が明らかとなった。

関連論文リスト

The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning [39.613595533503144]
CoT(Chain-of-Thought)プロンプトは、大規模言語モデルにおける推論能力を高める能力として広く認識されている。 CoTは、様々なモデルスケールやベンチマークの複雑さに対して、直接応答を一貫して過小評価していることを示す。パターンベースICLにおけるCoTの性能を駆動する基本的明示的双対性を明らかにする。
論文参考訳（メタデータ） (2025-04-07T13:51:06Z)
Beyond In-Distribution Success: Scaling Curves of CoT Granularity for Language Model Generalization [35.16980045900664]
変圧器に基づく言語モデル(LM)の展開において、分散シフト下における新しい複合タスクへの一般化が重要である本研究は、OODの一般化を促進する手段として、Chain-of-Thought (CoT)推論を考察する。
論文参考訳（メタデータ） (2025-02-25T15:04:17Z)
Unveiling the Mechanisms of Explicit CoT Training: How Chain-of-Thought Enhances Reasoning Generalization [9.191236388401226]
高品質なChain-of-Thought(CoT)アノテーションを用いた大規模言語モデルのトレーニングが広く採用されている。我々は,CoT を用いたトレーニングにより推論の一般化が著しく改善され,ID とout-of-distriion (OOD) の両方のシナリオに拡張され,収束のスピードが向上することを示した。本研究は, 明示的CoTトレーニングの基盤となるメカニズムを解明し, 堅牢な一般化を実現するため, LLMのチューニング戦略に対する重要な洞察を提供するものである。
論文参考訳（メタデータ） (2025-02-07T05:21:13Z)
From Sparse Dependence to Sparse Attention: Unveiling How Chain-of-Thought Enhances Transformer Sample Efficiency [17.612497960364916]
CoT(Chain-of-Thought)は大規模言語モデル(LLM)の推論性能を著しく向上させる代表電力が十分である場合でも,CoTは試料効率を大幅に向上できることを示す。 CoTは入力トークン間のスパース依存関係を導入して学習プロセスを単純化し、スパースかつ解釈可能な注意を喚起することを示す。
論文参考訳（メタデータ） (2024-10-07T19:45:09Z)
Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文参考訳（メタデータ） (2024-08-25T04:07:18Z)
ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
論文参考訳（メタデータ） (2024-03-21T11:34:26Z)
Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
論文参考訳（メタデータ） (2023-04-23T13:54:39Z)
Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する無効な実演でもCoT推論が可能であることを示す。
論文参考訳（メタデータ） (2022-12-20T05:20:54Z)
Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-17T00:26:31Z)
Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
論文参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。