論文の概要: Do Transformers Have the Ability for Periodicity Generalization?

• arxiv url: http://arxiv.org/abs/2601.22690v1
• Date: Fri, 30 Jan 2026 08:09:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.311399
• Title: Do Transformers Have the Ability for Periodicity Generalization?
• Title（参考訳）: 変圧器は周期性一般化の能力を持っているか?
• Authors: Huanyu Liu, Ge Li, Yihong Dong, Sihan Wu, Peixu Wang, Sihao Cheng, Taozhi Chen, Kechi Zhang, Hao Zhu, Tongxuan Liu,
• Abstract要約: Transformerをベースとした大規模言語モデル(LLM)は、さまざまなタスクにまたがって強力なパフォーマンスを示している。 周期性一般化は、トレーニングデータから周期パターンを抽出し、OODシナリオに一般化するモデルの能力を表す。 抽象代数学と推論の観点から周期性の統一解釈を導入する。 実験により、トランスフォーマーの周期性一般化は限定的であり、モデルはトレーニング中に周期データを記憶することができるが、目に見えない複合周期性には一般化できないことが明らかになった。
• 参考スコア（独自算出の注目度）: 26.54528061423392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) based on the Transformer have demonstrated strong performance across diverse tasks. However, current models still exhibit substantial limitations in out-of-distribution (OOD) generalization compared with humans. We investigate this gap through periodicity, one of the basic OOD scenarios. Periodicity captures invariance amid variation. Periodicity generalization represents a model's ability to extract periodic patterns from training data and generalize to OOD scenarios. We introduce a unified interpretation of periodicity from the perspective of abstract algebra and reasoning, including both single and composite periodicity, to explain why Transformers struggle to generalize periodicity. Then we construct Coper about composite periodicity, a controllable generative benchmark with two OOD settings, Hollow and Extrapolation. Experiments reveal that periodicity generalization in Transformers is limited, where models can memorize periodic data during training, but cannot generalize to unseen composite periodicity. We release the source code to support future research.
• Abstract（参考訳）: Transformerをベースとした大規模言語モデル(LLM)は、さまざまなタスクにまたがって強力なパフォーマンスを示している。 しかしながら、現在のモデルでは、人間と比較して、アウト・オブ・ディストリビューション(OOD)の一般化にかなりの制限がある。 OODシナリオの1つである周期性によるこのギャップについて検討する。 周期性は変動の中で不変性を捉えます。 周期性一般化は、トレーニングデータから周期パターンを抽出し、OODシナリオに一般化するモデルの能力を表す。 本稿では,抽象代数学や推論の観点からの周期性の統一解釈を導入し,トランスフォーマーが周期性の一般化に苦慮する理由を説明する。 次に、HollowとExtrapolationという2つのOOD設定を持つ制御可能な生成ベンチマークである複合周期性についてCoperを構築する。 実験により、トランスフォーマーの周期性一般化は限定的であり、モデルはトレーニング中に周期データを記憶することができるが、目に見えない複合周期性には一般化できないことが明らかになった。 将来の研究をサポートするためにソースコードをリリースします。

関連論文リスト

• Quantitative Bounds for Length Generalization in Transformers [58.175107357008876]
  変圧器における長さ一般化(LG)問題について検討する。 LGは、長い列上の変圧器の内部挙動が短い列上の振舞いによって「シミュレート」できるときに発生する。
  論文  参考訳（メタデータ） (2025-10-30T21:31:36Z)
• On Vanishing Variance in Transformer Length Generalization [23.706900145711913]
  また,今日のフロンティアモデルにおいても,より長いシーケンス長はマルチヘッドアテンションモジュールの出力のばらつきを減少させることを示した。 分析では, この改善は分散の消失による分布シフトを完全に排除したものではないものの, 削減したと考えられる。
  論文  参考訳（メタデータ） (2025-04-03T17:59:56Z)
• Transformers and Their Roles as Time Series Foundation Models [14.61139607588868]
  我々は,変換器を時系列基礎モデルとして解析し,近似と一般化機能に着目した。 任意の数の共変量を持つ自己回帰モデルにMOIRAIが自動的に適合できることを実証する。 実験は、時系列基礎モデルとしてのトランスフォーマーの有効性を強調し、我々の理論的な結果を支持する。
  論文  参考訳（メタデータ） (2025-02-05T17:18:55Z)
• Sometimes I am a Tree: Data Drives Unstable Hierarchical Generalization [22.743918211989605]
  初期の訓練では、LMはn-gramモデルのように振る舞うことができるが、最終的には木に基づく構文規則を学び、階層的に分布から一般化する。 制御された文法学習タスク(質問形成と時制インフレクション)を用いて、このシフトを研究する。 これらの結果は、学習データの一般化形成における中心的な役割を強調し、なぜ競合戦略が不安定な結果をもたらすのかを説明する。
  論文  参考訳（メタデータ） (2024-12-05T21:12:37Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Transformers in Time Series: A Survey [66.50847574634726]
  時系列モデリングのためのTransformerスキームを,その強みと限界を強調して体系的にレビューする。 ネットワーク構造の観点から、トランスフォーマーに施された適応と修正を要約する。 応用の観点からは,予測,異常検出,分類などの共通タスクに基づいて時系列変換器を分類する。
  論文  参考訳（メタデータ） (2022-02-15T01:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。