論文の概要: Geometric Foundations of Tuning without Forgetting in Neural ODEs

• arxiv url: http://arxiv.org/abs/2509.03474v1
• Date: Wed, 03 Sep 2025 16:54:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.600897
• Title: Geometric Foundations of Tuning without Forgetting in Neural ODEs
• Title（参考訳）: ニューラルネットワークにおける予測不要なチューニングの幾何学的基礎
• Authors: Erkan Bayram, Mohamed-Ali Belabbas, Tamer Başar,
• Abstract要約: 初期の研究では、ニューラルネットワークのシーケンシャルトレーニングのためのTwF(Tuning without Forgetting)という原則を導入しました。 この手紙では、このパラメータ部分空間が非特異制御の下で有限余次元のバナッハ部分多様体を形成することを証明している。 このことは、TwF がこのバナッハ部分多様体の接空間に沿った制御関数の連続/変形に対応することを明らかにしている。
• 参考スコア（独自算出の注目度）: 0.34410212782758043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In our earlier work, we introduced the principle of Tuning without Forgetting (TwF) for sequential training of neural ODEs, where training samples are added iteratively and parameters are updated within the subspace of control functions that preserves the end-point mapping at previously learned samples on the manifold of output labels in the first-order approximation sense. In this letter, we prove that this parameter subspace forms a Banach submanifold of finite codimension under nonsingular controls, and we characterize its tangent space. This reveals that TwF corresponds to a continuation/deformation of the control function along the tangent space of this Banach submanifold, providing a theoretical foundation for its mapping-preserving (not forgetting) during the sequential training exactly, beyond first-order approximation.
• Abstract（参考訳）: 先行研究では,ニューラルネットワークの逐次的トレーニングにTwF(Tuning without Forgetting)の原則を導入し,トレーニングサンプルを反復的に追加し,一階近似の出力ラベルの多様体上の以前に学習されたサンプルの終点マッピングを保存する制御関数のサブ空間内でパラメータを更新した。 この手紙では、このパラメータ部分空間が非特異な制御の下で有限余次元のバナッハ部分多様体を形成することを証明し、その接空間を特徴づける。 このことは、TwF がこのバナッハ部分多様体の接空間に沿った制御関数の連続/変形に対応し、一階近似を超える連続的なトレーニングの間、その写像保存(忘れることのできない)の理論的基礎を提供することを示している。

関連論文リスト

• On the Emergence of Cross-Task Linearity in the Pretraining-Finetuning Paradigm [47.55215041326702]
  我々は、共通の事前訓練されたチェックポイントから、クロスタスク線形性(CTL)と呼ばれる異なるタスクに微調整されたモデルにおいて、興味深い線形現象を発見する。 2つの微調整モデルの重みを線形に補間すると、重み補間モデルの特徴は各層における2つの微調整モデルの特徴の線形性にほぼ等しいことが示される。 プレトレーニング-ファインタニングのパラダイムでは、ニューラルネットワークは、パラメータ空間から特徴空間への写像である線形写像として概ね機能する。
  論文  参考訳（メタデータ） (2024-02-06T03:28:36Z)
• Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
  本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。 サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。 パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
  論文  参考訳（メタデータ） (2023-05-30T19:16:44Z)
• Tangent Bundle Convolutional Learning: from Manifolds to Cellular Sheaves and Back [84.61160272624262]
  この畳み込み操作に基づいて,タンジェントバンドルフィルタとタンジェントバンドルニューラルネットワーク(TNN)を定義する。 タンジェントバンドルフィルタは、スカラー多様体フィルタ、グラフフィルタ、標準畳み込みフィルタを連続的に一般化するスペクトル表現を許容する。 提案したアーキテクチャが様々な学習課題に与える影響を数値的に評価する。
  論文  参考訳（メタデータ） (2023-03-20T17:57:15Z)
• Two-layer neural networks with values in a Banach space [1.90365714903665]
  本研究では,領域と範囲がバラッハ空間である2層ニューラルネットワークについて検討する。 非線形性として、正の部分を取る格子演算を選択し、$mathbb Rd$-valued ニューラルネットワークの場合、これはReLU活性化関数に対応する。
  論文  参考訳（メタデータ） (2021-05-05T14:54:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。