論文の概要: Gradient Flow Matching for Learning Update Dynamics in Neural Network Training

• arxiv url: http://arxiv.org/abs/2505.20221v1
• Date: Mon, 26 May 2025 17:03:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 19:27:27.028983
• Title: Gradient Flow Matching for Learning Update Dynamics in Neural Network Training
• Title（参考訳）: ニューラルネットワーク学習における更新ダイナミクスの学習のためのグラディエントフローマッチング
• Authors: Xiao Shou, Yanna Ding, Jianxi Gao,
• Abstract要約: Gradient Flow Matching(GFM)は、ニューラルネットワークトレーニングを学習対応ベクトル場によって管理される動的システムとして扱う、連続的な時間モデリングフレームワークである。 条件付きフローマッチングを利用することで、GFMはSGD、Adam、RMSpropの基本的な更新ルールをキャプチャし、ウェイトトラジェクトリのスムーズな外挿を可能にする。
• 参考スコア（独自算出の注目度）: 3.782392436834913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training deep neural networks remains computationally intensive due to the itera2 tive nature of gradient-based optimization. We propose Gradient Flow Matching (GFM), a continuous-time modeling framework that treats neural network training as a dynamical system governed by learned optimizer-aware vector fields. By leveraging conditional flow matching, GFM captures the underlying update rules of optimizers such as SGD, Adam, and RMSprop, enabling smooth extrapolation of weight trajectories toward convergence. Unlike black-box sequence models, GFM incorporates structural knowledge of gradient-based updates into the learning objective, facilitating accurate forecasting of final weights from partial training sequences. Empirically, GFM achieves forecasting accuracy that is competitive with Transformer-based models and significantly outperforms LSTM and other classical baselines. Furthermore, GFM generalizes across neural architectures and initializations, providing a unified framework for studying optimization dynamics and accelerating convergence prediction.
• Abstract（参考訳）: ディープニューラルネットワークのトレーニングは、勾配に基づく最適化のイタラ2性のため、計算集約的なままである。 本稿では,ニューラルネットワークトレーニングを学習したオプティマイザ対応ベクトル場によって制御される動的システムとして扱う,連続時間モデリングフレームワークであるGradient Flow Matching (GFM)を提案する。 条件付きフローマッチングを利用することで、GFMはSGD、Adam、RMSpropといったオプティマイザの根底にある更新ルールをキャプチャし、ウェイトトラジェクトリのスムーズな外挿を可能にする。 ブラックボックスシーケンスモデルとは異なり、GFMは勾配に基づく更新の構造的知識を学習目的に取り入れ、部分的なトレーニングシーケンスから最終重みの正確な予測を容易にする。 GFMは、Transformerベースのモデルと競合する予測精度を実証的に達成し、LSTMや他の古典的ベースラインを大幅に上回る。 さらに、GFMはニューラルネットワークと初期化をまたいで一般化し、最適化力学の研究と収束予測の加速のための統一的なフレームワークを提供する。

関連論文リスト

• Graph Neural Networks and Differential Equations: A hybrid approach for data assimilation of fluid flows [0.0]
  本研究では,グラフニューラルネットワーク(GNN)とReynolds-Averaged Navier Stokes(RANS)方程式を組み合わせた新しいハイブリッド手法を提案する。 その結果, 純粋なデータ駆動モデルと比較して, 再構成平均流の精度は著しく向上した。
  論文  参考訳（メタデータ） (2024-11-14T14:31:52Z)
• Variational Stochastic Gradient Descent for Deep Neural Networks [16.96187187108041]
  変分勾配Descent (VSGD) は、効率的な勾配に基づく画像最適化手法である。 我々は、VSGDがAdamとSGDを2つの分類データセットと4つのディープニューラルネットワークアーキテクチャで上回っていることを示す。
  論文  参考訳（メタデータ） (2024-04-09T18:02:01Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Predictive coding, precision and natural gradients [2.1601966913620325]
  学習精度の高い階層型予測符号化ネットワークは,教師あり学習課題や教師なし学習課題を解くことができることを示す。 イメージ入力の教師なし自動符号化に適用すると、決定論的ネットワークは階層的に整理され、非絡み合った埋め込みを生成する。
  論文  参考訳（メタデータ） (2021-11-12T21:05:03Z)
• A Differential Game Theoretic Neural Optimizer for Training Residual Networks [29.82841891919951]
  本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。 得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
  論文  参考訳（メタデータ） (2020-07-17T10:19:17Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。