論文の概要: Generalization Analysis and Method for Domain Generalization for a Family of Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2601.08122v1
• Date: Tue, 13 Jan 2026 01:27:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.004784
• Title: Generalization Analysis and Method for Domain Generalization for a Family of Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークファミリーの一般化解析と領域一般化法
• Authors: Atefeh Termehchi, Ekram Hossain, Isaac Woungang,
• Abstract要約: 本稿では,リカレントニューラルネットワーク群(RNN)の解釈可能性とドメイン外一般化(OOD)を解析する手法を提案する。 具体的には、訓練されたRNN状態の進化を、未知の離散時間非線形閉ループフィードバックシステムとしてモデル化する。 OOD一般化誤差を低減し、分散シフトに対するロバスト性を改善するドメイン一般化法を提案する。
• 参考スコア（独自算出の注目度）: 11.316438734182931
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Deep learning (DL) has driven broad advances across scientific and engineering domains. Despite its success, DL models often exhibit limited interpretability and generalization, which can undermine trust, especially in safety-critical deployments. As a result, there is growing interest in (i) analyzing interpretability and generalization and (ii) developing models that perform robustly under data distributions different from those seen during training (i.e. domain generalization). However, the theoretical analysis of DL remains incomplete. For example, many generalization analyses assume independent samples, which is violated in sequential data with temporal correlations. Motivated by these limitations, this paper proposes a method to analyze interpretability and out-of-domain (OOD) generalization for a family of recurrent neural networks (RNNs). Specifically, the evolution of a trained RNN's states is modeled as an unknown, discrete-time, nonlinear closed-loop feedback system. Using Koopman operator theory, these nonlinear dynamics are approximated with a linear operator, enabling interpretability. Spectral analysis is then used to quantify the worst-case impact of domain shifts on the generalization error. Building on this analysis, a domain generalization method is proposed that reduces the OOD generalization error and improves the robustness to distribution shifts. Finally, the proposed analysis and domain generalization approach are validated on practical temporal pattern-learning tasks.
• Abstract（参考訳）: ディープラーニング(DL)は、科学と工学の分野に幅広い進歩をもたらした。 その成功にもかかわらず、DLモデルは限定的な解釈可能性と一般化を示し、特に安全クリティカルなデプロイメントにおいて信頼を損なう可能性がある。 その結果、関心が高まっている。 一 解釈可能性及び一般化及び解析 二 トレーニング中に見られるもの(すなわち、ドメインの一般化)とは異なるデータ分布下で頑健に機能するモデルを開発すること。 しかし、DLの理論的解析はいまだ不完全である。 例えば、多くの一般化分析は、時間的相関を持つシーケンシャルデータに違反する独立したサンプルを仮定する。 そこで本研究では,リカレントニューラルネットワーク(RNN)のファミリに対して,解釈可能性とドメイン外一般化(OOD)を解析する手法を提案する。 具体的には、訓練されたRNN状態の進化を未知の離散時間非線形閉ループフィードバックシステムとしてモデル化する。 クープマン作用素理論を用いて、これらの非線形力学は線形作用素と近似され、解釈可能となる。 スペクトル分析は、一般化誤差に対する領域シフトの最悪のケースの影響を定量化するために用いられる。 この分析に基づいて、OOD一般化誤差を低減し、分散シフトに対するロバスト性を改善するドメイン一般化法を提案する。 最後に,実時間パターン学習の課題に対して,提案手法と領域一般化手法を検証した。

関連論文リスト

• Unifying Learning Dynamics and Generalization in Transformers Scaling Law [1.5229257192293202]
  大規模言語モデル(LLM)開発の基盤であるスケーリング法則は,計算資源の増加に伴うモデル性能の向上を予測している。 この研究は、変圧器に基づく言語モデルの学習力学を常微分方程式(ODE)システムとして定式化する。 本分析では,データによる計算資源のスケールとして,一般化誤差と既約リスクの収束を特徴付ける。
  論文  参考訳（メタデータ） (2025-12-26T17:20:09Z)
• Algorithm- and Data-Dependent Generalization Bounds for Score-Based Generative Models [27.78637798976204]
  スコアベース生成モデル(SGM)は、生成モデルの最も一般的なクラスの一つである。 本稿では,SGMのためのアルゴリズムおよびデータ依存分析法を提案する。 特に、学習アルゴリズムのダイナミクスを説明し、SGMの振る舞いに関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-04T11:33:04Z)
• Generalization for Least Squares Regression With Simple Spiked Covariances [3.9134031118910264]
  勾配降下によって訓練された2層ニューラルネットワークの一般化特性はいまだよく分かっていない。 最近の研究は、隠れた層における特徴行列のスペクトルを記述することで進展した。 しかし、スパイク共分散を持つ線形モデルの一般化誤差は以前には決定されていない。
  論文  参考訳（メタデータ） (2024-10-17T19:46:51Z)
• Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
  既存の一般化誤差境界は負の例の数$k$に線形に依存する。 対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
  論文  参考訳（メタデータ） (2023-02-24T01:03:56Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Towards Data-Algorithm Dependent Generalization: a Case Study on Overparameterized Linear Regression [19.047997113063147]
  本稿では,データ依存学習軌跡全体の一般化挙動を考察したデータ-アルゴリズム整合性の概念を提案する。 我々は、データ依存軌道解析を行い、そのような環境での互換性に十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-02-12T12:42:36Z)
• Generalization Error of Generalized Linear Models in High Dimensions [25.635225717360466]
  任意の非線形性を持つニューラルネットワークを特徴付けるためのフレームワークを提供する。 正規ロジスティック回帰が学習に与える影響を解析する。 また,本モデルでは,特別事例の学習と配布の事例も捉えている。
  論文  参考訳（メタデータ） (2020-05-01T02:17:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。