Fugu-MT 論文翻訳(概要): Flows and Diffusions on the Neural Manifold

論文の概要: Flows and Diffusions on the Neural Manifold

arxiv url: http://arxiv.org/abs/2507.10623v1
Date: Mon, 14 Jul 2025 02:26:06 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-16 19:46:02.78891
Title: Flows and Diffusions on the Neural Manifold
Title（参考訳）: ニューラルマニフォールド上の流れと拡散
Authors: Daniel Saragih, Deyu Cao, Tejas Balaji,
Abstract要約: 拡散およびフローベース生成モデルは、画像合成、ビデオ生成、自然言語モデリングといった領域で顕著に成功している。これらの進歩は、最近の手法を活用して、最適化力学から導かれる構造的事前を組み込むことにより、重み空間学習に拡張する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Diffusion and flow-based generative models have achieved remarkable success in domains such as image synthesis, video generation, and natural language modeling. In this work, we extend these advances to weight space learning by leveraging recent techniques to incorporate structural priors derived from optimization dynamics. Central to our approach is modeling the trajectory induced by gradient descent as a trajectory inference problem. We unify several trajectory inference techniques under the framework of gradient flow matching, providing a theoretical framework for treating optimization paths as inductive bias. We further explore architectural and algorithmic choices, including reward fine-tuning by adjoint matching, the use of autoencoders for latent weight representation, conditioning on task-specific context data, and adopting informative source distributions such as Kaiming uniform. Experiments demonstrate that our method matches or surpasses baselines in generating in-distribution weights, improves initialization for downstream training, and supports fine-tuning to enhance performance. Finally, we illustrate a practical application in safety-critical systems: detecting harmful covariate shifts, where our method outperforms the closest comparable baseline.
Abstract（参考訳）: 拡散およびフローベース生成モデルは、画像合成、ビデオ生成、自然言語モデリングといった領域で顕著に成功している。本研究では、最近の手法を活用して、これらの進歩を重み空間学習に拡張し、最適化力学から導かれる構造的事前を組み込む。我々のアプローチの中心は、勾配降下によって誘導される軌道を軌道推論問題としてモデル化することである。我々は、勾配流マッチングの枠組みの下で、いくつかの軌道推論手法を統一し、最適化経路を帰納バイアスとして扱うための理論的枠組みを提供する。さらに、アジョイントマッチングによる報酬微調整、遅延重み表現のためのオートエンコーダの使用、タスク固有のコンテキストデータに対する条件付け、カイミングユニフォームなどの情報源分布の適用など、アーキテクチャとアルゴリズムの選択についても検討する。実験により,本手法は分布内重みの生成におけるベースラインの一致あるいは超過,下流トレーニングの初期化の改善,微調整支援による性能向上を実証した。最後に、安全クリティカルシステムにおける実用的応用として、有害な共変量シフトの検出について説明する。

関連論文リスト

Aligning Latent Spaces with Flow Priors [72.24305287508474]
本稿では,学習可能な潜在空間を任意の目標分布に整合させるための新しいフレームワークを提案する。特に,提案手法は計算コストの高い確率評価を排除し,最適化時のODE解決を回避する。
論文参考訳（メタデータ） (2025-06-05T16:59:53Z)
Directional Gradient Projection for Robust Fine-Tuning of Foundation Models [25.04763038570959]
ディディショナル・グラディエント・プロジェクション(DiGraP)は、グラデーションからブリッジの正規化や多目的最適化に至るまでの方向性情報を階層的に学習可能な手法である。まず,画像分類による視覚質問回答 (VQA) ベンチマークの分析により,一様・多モードのギャップを埋める。実験結果から,DiGraPは画像分類やVQAタスクにおいて,識別的,生成的バックボーンで既存のベースラインを一貫して上回ることがわかった。
論文参考訳（メタデータ） (2025-02-21T19:31:55Z)
Diffusion-Sharpening: Fine-tuning Diffusion Models with Denoising Trajectory Sharpening [56.99266993852532]
拡散シャープニング(Diffusion-Sharpening)は、サンプリング軌道を最適化することで下流のアライメントを向上させる微調整手法である。提案手法は, NFEを必要とせず, より高速に収束し, 最高の推論効率を示す。
論文参考訳（メタデータ） (2025-02-17T18:57:26Z)
A First-order Generative Bilevel Optimization Framework for Diffusion Models [57.40597004445473]
拡散モデルは、データサンプルを反復的に分解して高品質な出力を合成する。従来の二値法は無限次元の確率空間と禁制的なサンプリングコストのために失敗する。我々はこの問題を生成的二段階最適化問題として定式化する。従来の2段階法と拡散過程の非互換性を克服する。
論文参考訳（メタデータ） (2025-02-12T21:44:06Z)
Gradient Guidance for Diffusion Models: An Optimization Perspective [45.6080199096424]
本稿では,ユーザ特定目的の最適化に向けて,事前学習した拡散モデルを適用するための勾配ガイダンスの形式について検討する。我々は,その最適化理論とアルゴリズム設計を体系的に研究するために,誘導拡散の数学的枠組みを確立する。
論文参考訳（メタデータ） (2024-04-23T04:51:02Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
GRAWA: Gradient-based Weighted Averaging for Distributed Training of Deep Learning Models [9.377424534371727]
時間制約環境における深層モデルの分散トレーニングについて検討する。本稿では,労働者の平均値として計算された中心変数に対して,労働者を定期的に引き出すアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-07T04:22:34Z)
DiffTORI: Differentiable Trajectory Optimization for Deep Reinforcement and Imitation Learning [19.84386060857712]
本稿では、微分軌道最適化をポリシー表現として活用し、深層強化と模倣学習のためのアクションを生成するDiffTORIを提案する。 15のモデルベースRLタスクと35の模倣学習タスクに高次元画像と点クラウド入力があり、DiffTORIはどちらのドメインでも最先端の手法よりも優れている。
論文参考訳（メタデータ） (2024-02-08T05:26:40Z)
A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文参考訳（メタデータ） (2023-05-31T15:33:16Z)
Aligning Optimization Trajectories with Diffusion Models for Constrained Design Generation [17.164961143132473]
本稿では,拡散モデルのサンプリング軌跡と従来の物理法に基づく最適化軌跡との整合性を示す学習フレームワークを提案する。提案手法では,高コストプリプロセッシングや外部サロゲートモデル,ラベル付きデータの追加を必要とせずに,実用的で高性能な設計を2段階で生成することができる。この結果から, TAは分布内構成における最先端の深層生成モデルより優れ, 推論計算コストを半減することがわかった。
論文参考訳（メタデータ） (2023-05-29T09:16:07Z)
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文参考訳（メタデータ） (2023-05-25T10:58:46Z)
An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。