論文の概要: Feedback Schr{ö}dinger Bridge Matching
- arxiv url: http://arxiv.org/abs/2410.14055v1
- Date: Thu, 17 Oct 2024 21:52:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:26:51.187138
- Title: Feedback Schr{ö}dinger Bridge Matching
- Title（参考訳）: フィードバックSchr{ö}dinger Bridge Matching
- Authors: Panagiotis Theodoropoulos, Nikolaos Komianos, Vincent Pacelli, Guan-Horng Liu, Evangelos A. Theodorou,
- Abstract要約: 本稿では,新しい半教師付きマッチングフレームワークであるFeedback Schr"odinger Bridge Matching (FSBM)を紹介する。
FSBMは、事前整列されたペアのごく一部(データセット全体の8%未満)を状態フィードバックとして組み込んで、非結合サンプルのトランスポートマップを導出する。
FSBMがトレーニングを加速し、組み合わせたペアのガイダンスを活用することで一般化を促進することを実証した。
- 参考スコア（独自算出の注目度）: 21.5490272744586
- License:
- Abstract: Recent advancements in diffusion bridges for distribution transport problems have heavily relied on matching frameworks, yet existing methods often face a trade-off between scalability and access to optimal pairings during training. Fully unsupervised methods make minimal assumptions but incur high computational costs, limiting their practicality. On the other hand, imposing full supervision of the matching process with optimal pairings improves scalability, however, it can be infeasible in many applications. To strike a balance between scalability and minimal supervision, we introduce Feedback Schr\"{o}dinger Bridge Matching (FSBM), a novel semi-supervised matching framework that incorporates a small portion (less than 8% of the entire dataset) of pre-aligned pairs as state feedback to guide the transport map of non coupled samples, thereby significantly improving efficiency. This is achieved by formulating a static Entropic Optimal Transport (EOT) problem with an additional term capturing the semi-supervised guidance. The generalized EOT objective is then recast into a dynamic formulation to leverage the scalability of matching frameworks. Extensive experiments demonstrate that FSBM accelerates training and enhances generalization by leveraging coupled pairs guidance, opening new avenues for training matching frameworks with partially aligned datasets.
- Abstract（参考訳）: 分散トランスポート問題に対する拡散ブリッジの最近の進歩は、マッチングフレームワークに大きく依存しているが、既存の手法は、トレーニング中にスケーラビリティと最適なペアリングへのアクセスの間のトレードオフに直面していることが多い。
完全に教師なしの手法は最小限の仮定をするが、計算コストが高く、実用性が制限される。
一方、最適ペアリングによるマッチングプロセスの完全な監督はスケーラビリティを向上させるが、多くのアプリケーションでは実現不可能である。
スケーラビリティと最小限の監視のバランスをとるために、非結合サンプルの輸送マップを誘導する状態フィードバックとして、事前整合ペアの小さな部分(データセット全体の8%未満)を組み込んだ、新しい半教師付きマッチングフレームワークであるFeedback Schr\"{o}dinger Bridge Matching (FSBM)を導入する。
これは、静的なエントロピー最適輸送(EOT)問題を半教師付きガイダンスをキャプチャする追加用語で定式化することで達成される。
一般化されたEOTの目的は、マッチするフレームワークのスケーラビリティを活用するために、動的定式化に再キャストされる。
大規模な実験では、FSBMがトレーニングを加速し、組み合わせたペアのガイダンスを活用し、部分的に整列したデータセットでフレームワークをトレーニングするための新たな道を開くことで、一般化を促進することが示されている。
関連論文リスト
- SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - ENOT: Expectile Regularization for Fast and Accurate Training of Neural Optimal Transport [3.0237149871998095]
最適な輸送計画の正確かつ効率的に推定する新しい手法を提案する。
expectile Regularized Neural Transport Optimal (ENOT) と呼ばれる。
ENOTは二重ポテンシャルの学習過程に結合条件を強制する。
論文 参考訳（メタデータ） (2024-03-06T15:15:42Z) - Sample-Efficient Clustering and Conquer Procedures for Parallel
Large-Scale Ranking and Selection [0.0]
並列コンピューティング環境では、相関ベースのクラスタリングは$mathcalO(p)$サンプル複雑性低減率を達成することができる。
ニューラルアーキテクチャ検索のような大規模AIアプリケーションでは、スクリーニングなしバージョンの手順が、サンプル効率の点で完全に順序づけられたベンチマークを驚くほど上回っている。
論文 参考訳（メタデータ） (2024-02-03T15:56:03Z) - Optimal Transport-Guided Conditional Score-Based Diffusion Models [63.14903268958398]
条件付きスコアベース拡散モデル(SBDM)は、条件付きデータを条件としてターゲットデータの条件付き生成を行い、画像翻訳において大きな成功を収めた。
本稿では, 最適輸送誘導条件付きスコアベース拡散モデル(OTCS)を提案する。
論文 参考訳（メタデータ） (2023-11-02T13:28:44Z) - Generalized Schrödinger Bridge Matching [54.171931505066]
一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域で一般的である。
我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。
このような一般化は条件最適制御の解法として、変分近似を用いることができることを示す。
論文 参考訳（メタデータ） (2023-10-03T17:42:11Z) - On Sampling with Approximate Transport Maps [22.03230737620495]
輸送地図は、非自明な測地による分布のサンプリングを容易にし、それらを扱いやすい分布に変換する。
このアプローチのポテンシャルは、ターゲットに向かって参照分布をプッシュするようにトレーニングされたディープニューラルネットワークでパラメータ化されたマップである正規化フロー(NF)の開発によって高まっている。
NF型サンプリング器は先日,フローから引き出された (i) モンテカルロ法または (ii) フローベース再パラメータ化法をブレンドした(マルコフ連鎖)モンテカルロ法を提案した。
論文 参考訳（メタデータ） (2023-02-09T16:52:52Z) - Transport with Support: Data-Conditional Diffusion Bridges [18.933928516349397]
制約付き時系列データ生成タスクを解決するために,Iterative Smoothing Bridge (ISB)を導入する。
我々は,ISBが高次元データによく一般化し,計算効率が高く,中間時間と終時間における限界値の正確な推定値を提供することを示した。
論文 参考訳（メタデータ） (2023-01-31T13:50:16Z) - Learning Optimal Transport Between two Empirical Distributions with
Normalizing Flows [12.91637880428221]
本稿では、ニューラルネットワークの柔軟性を活用して、最適輸送マップを近似的に学習することを提案する。
我々は、このOT問題の解を近似するために、非可逆ニューラルネットワークの特定の例、すなわち正規化フローが利用できることを示した。
論文 参考訳（メタデータ） (2022-07-04T08:08:47Z) - Optimization-Derived Learning with Essential Convergence Analysis of
Training and Hyper-training [52.39882976848064]
固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。
GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
論文 参考訳（メタデータ） (2022-06-16T01:50:25Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳（メタデータ） (2022-06-14T13:12:12Z) - Comparing Probability Distributions with Conditional Transport [63.11403041984197]
新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。
ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。
さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
論文 参考訳（メタデータ） (2020-12-28T05:14:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。