論文の概要: Constraint Breeds Generalization: Temporal Dynamics as an Inductive Bias

• arxiv url: http://arxiv.org/abs/2512.23916v1
• Date: Tue, 30 Dec 2025 00:34:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.242898
• Title: Constraint Breeds Generalization: Temporal Dynamics as an Inductive Bias
• Title（参考訳）: Constraint Breeds Generalization: Inductive Biasとしてのテンポラルダイナミクス
• Authors: Xia Chen,
• Abstract要約: 制約は、制約としてではなく、一般化を生み出す時間的帰納バイアスとして機能する。 我々は、堅牢なAI開発には、制限のスケーリングと削除だけでなく、自然に一般化を促進する時間的特性を計算的にマスターする必要があることを示す。
• 参考スコア（独自算出の注目度）: 1.219017431258669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional deep learning prioritizes unconstrained optimization, yet biological systems operate under strict metabolic constraints. We propose that these physical constraints shape dynamics to function not as limitations, but as a temporal inductive bias that breeds generalization. Through a phase-space analysis of signal propagation, we reveal a fundamental asymmetry: expansive dynamics amplify noise, whereas proper dissipative dynamics compress phase space that aligns with the network's spectral bias, compelling the abstraction of invariant features. This condition can be imposed externally via input encoding, or intrinsically through the network's own temporal dynamics. Both pathways require architectures capable of temporal integration and proper constraints to decode induced invariants, whereas static architectures fail to capitalize on temporal structure. Through comprehensive evaluations across supervised classification, unsupervised reconstruction, and zero-shot reinforcement learning, we demonstrate that a critical "transition" regime maximizes generalization capability. These findings establish dynamical constraints as a distinct class of inductive bias, suggesting that robust AI development requires not only scaling and removing limitations, but computationally mastering the temporal characteristics that naturally promote generalization.
• Abstract（参考訳）: 従来のディープラーニングは制約のない最適化を優先するが、生物学的システムは厳格な代謝的制約の下で機能する。 これらの物理的制約は、制約としてではなく、一般化を生み出す時間的帰納バイアスとして機能するように動的に形成する。 拡散力学は雑音を増幅するが、適切な散逸ダイナミクスは位相空間を圧縮し、ネットワークのスペクトルバイアスと整合し、不変な特徴の抽象化を誘惑する。 この条件は、入力エンコーディングまたは本質的にネットワーク自身の時間力学を通して外部に課すことができる。 どちらの経路も時間的統合と適切な制約を必要とするが、静的アーキテクチャは時間的構造を活かさない。 教師付き分類,教師なし再構成,ゼロショット強化学習の総合評価を通じて,重要な「移行」体制が一般化能力を最大化することを示した。 これらの知見は、動的制約を帰納バイアスの異なるクラスとして確立し、堅牢なAI開発には、制限のスケーリングと除去だけでなく、自然に一般化を促進する時間的特性を計算的にマスターする必要があることを示唆している。

関連論文リスト

• A Mechanistic Analysis of Transformers for Dynamical Systems [4.590170084532207]
  動的データに適用した場合の単一層変換器の表現能力と限界について検討する。 線形系に対しては、ソフトマックスアテンションによって課される凸性制約が、表現できる力学のクラスを根本的に制限していることが示される。 部分可観測性を持つ非線形系では、注意は適応的な遅延埋め込み機構として機能する。
  論文  参考訳（メタデータ） (2025-12-24T11:21:07Z)
• When Does Learning Renormalize? Sufficient Conditions for Power Law Spectral Dynamics [2.779943773196378]
  実証的なパワー-法則のスケーリングは、現代のディープラーニングシステムで広く観測されている。 パワー則のスケーリングは、再正規化可能性のみに従わず、剛性の結果として現れることを示す。
  論文  参考訳（メタデータ） (2025-12-20T04:15:07Z)
• RainDiff: End-to-end Precipitation Nowcasting Via Token-wise Attention Diffusion [64.49056527678606]
  本稿では,U-Net拡散モデルだけでなく,レーダ時間エンコーダにも統合されたトークンワイドアテンションを提案する。 従来の手法とは異なり,本手法は,画素空間拡散の典型的な高資源コストを発生させることなく,アーキテクチャに注意を集中させる。 実験と評価により,提案手法は複雑な降水予測シナリオにおいて,最先端の手法,ロバストネスの局所的忠実度,一般化,優位性を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2025-10-16T17:59:13Z)
• Information-Theoretic Bounds and Task-Centric Learning Complexity for Real-World Dynamic Nonlinear Systems [0.6875312133832079]
  動的非線形系は静的および動的効果の結合による歪みを示す。 本稿では, 構造化分解, 分散解析, タスク中心の複雑性境界に基づく理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-08T12:08:02Z)
• Mutual Information Free Topological Generalization Bounds via Stability [46.63069403118614]
  既存の戦略から離れる新しい学習理論フレームワークを導入する。 トラジェクトリ安定アルゴリズムの一般化誤差をTDA項で上界化できることを示す。
  論文  参考訳（メタデータ） (2025-07-09T12:03:25Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Transformers Learn Nonlinear Features In Context: Nonconvex Mean-field Dynamics on the Attention Landscape [40.78854925996]
  Transformerアーキテクチャに基づく大規模言語モデルは、コンテキストで学習できる印象的な能力を示している。 共通非線形表現や特徴写像は、文脈内学習の力を高めるために利用できることを示す。
  論文  参考訳（メタデータ） (2024-02-02T09:29:40Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。