Fugu-MT 論文翻訳(概要): Simulation-Free Training of Neural ODEs on Paired Data

論文の概要: Simulation-Free Training of Neural ODEs on Paired Data

arxiv url: http://arxiv.org/abs/2410.22918v1
Date: Wed, 30 Oct 2024 11:18:27 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-31 14:27:03.473022
Title: Simulation-Free Training of Neural ODEs on Paired Data
Title（参考訳）: ペアデータを用いたニューラルネットワークのシミュレーションフリートレーニング
Authors: Semin Kim, Jaehoon Yoo, Jinwoo Kim, Yeonwoo Cha, Saehoon Kim, Seunghoon Hong,
Abstract要約: 我々は,NODEのシミュレーションフリートレーニングにフローマッチングフレームワークを用いる。ペアデータ間で直接フローマッチングを適用することは、しばしば不定義のフローにつながることを示す。データペアの埋め込み空間にフローマッチングを適用するための簡単な拡張を提案する。
参考スコア（独自算出の注目度）: 20.36333430055869
License:
Abstract: In this work, we investigate a method for simulation-free training of Neural Ordinary Differential Equations (NODEs) for learning deterministic mappings between paired data. Despite the analogy of NODEs as continuous-depth residual networks, their application in typical supervised learning tasks has not been popular, mainly due to the large number of function evaluations required by ODE solvers and numerical instability in gradient estimation. To alleviate this problem, we employ the flow matching framework for simulation-free training of NODEs, which directly regresses the parameterized dynamics function to a predefined target velocity field. Contrary to generative tasks, however, we show that applying flow matching directly between paired data can often lead to an ill-defined flow that breaks the coupling of the data pairs (e.g., due to crossing trajectories). We propose a simple extension that applies flow matching in the embedding space of data pairs, where the embeddings are learned jointly with the dynamic function to ensure the validity of the flow which is also easier to learn. We demonstrate the effectiveness of our method on both regression and classification tasks, where our method outperforms existing NODEs with a significantly lower number of function evaluations. The code is available at https://github.com/seminkim/simulation-free-node.
Abstract（参考訳）: 本研究では,2つのデータ間の決定論的マッピングを学習するためのニューラル正規微分方程式(NODE)のシミュレーション不要な学習法について検討する。連続深度残差ネットワークとしてのNODEの類似性にもかかわらず、その典型的な教師付き学習タスクへの応用は、主にODEソルバが要求する多数の関数評価と勾配推定における数値不安定性により、普及していない。この問題を軽減するために,パラメータ化された動的関数を予め定義された目標速度場へ直接回帰するNODEのシミュレーション不要なトレーニングに,フローマッチングフレームワークを用いる。しかし、生成的タスクとは対照的に、ペアデータ間の直接のフローマッチングを適用すると、データペアの結合を断ち切る不明確なフロー(例えば、トラジェクトリが交差しているため)につながることがしばしば示される。本稿では,データペアの埋め込み空間にフローマッチングを適用した簡易な拡張を提案する。そこで本手法は既存のNODEよりも高い性能を示し,機能評価を著しく低減した。コードはhttps://github.com/seminkim/simulation-free-node.comで公開されている。

関連論文リスト

A Training-Free Conditional Diffusion Model for Learning Stochastic Dynamical Systems [10.820654486318336]
本研究では,未知の微分方程式(SDE)をデータを用いて学習するための学習自由条件拡散モデルを提案する。提案手法はSDEのモデリングにおける計算効率と精度の重要な課題に対処する。学習されたモデルは、未知のシステムの短期的および長期的両方の挙動を予測する上で、大幅な改善を示す。
論文参考訳（メタデータ） (2024-10-04T03:07:36Z)
Dynamic Tensor Decomposition via Neural Diffusion-Reaction Processes [24.723536390322582]
テンソル分解はマルチウェイデータ解析の重要なツールです動的EMbedIngs fOr Dynamic Algorithm dEcomposition (DEMOTE)を提案する。シミュレーション研究と実世界の応用の両方において,本手法の利点を示す。
論文参考訳（メタデータ） (2023-10-30T15:49:45Z)
Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。スコアベース拡散モデルを用いてラベル付きデータを生成する。ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文参考訳（メタデータ） (2023-10-22T23:56:19Z)
Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文参考訳（メタデータ） (2023-10-04T09:39:05Z)
Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文参考訳（メタデータ） (2023-06-09T18:40:55Z)
Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文参考訳（メタデータ） (2023-02-14T23:50:53Z)
Neural Flows: Efficient Alternative to Neural ODEs [8.01886971335823]
本稿では,ORのフローである解曲線を直接ニューラルネットワークでモデル化する手法を提案する。これにより、ニューラルネットワークのモデリング能力を維持しながら、高価な数値解法の必要性はすぐに解消される。
論文参考訳（メタデータ） (2021-10-25T15:24:45Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文参考訳（メタデータ） (2021-06-24T05:19:26Z)
DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。よりデータ効率の高いifOアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-03-31T23:46:32Z)
Enhancement of shock-capturing methods via machine learning [0.0]
我々は不連続解を用いてPDEをシミュレートするための改良された有限体積法を開発した。 5階WENO法の結果を改善するためにニューラルネットワークを訓練する。数値解が過度に拡散するシミュレーションにおいて,本手法はWENOよりも優れていることがわかった。
論文参考訳（メタデータ） (2020-02-06T21:51:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。