論文の概要: Multisample Flow Matching: Straightening Flows with Minibatch Couplings

• arxiv url: http://arxiv.org/abs/2304.14772v1
• Date: Fri, 28 Apr 2023 11:33:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 14:28:28.974907
• Title: Multisample Flow Matching: Straightening Flows with Minibatch Couplings
• Title（参考訳）: マルチサンプルフローマッチング:ミニバッチ結合によるストレートニングフロー
• Authors: Aram-Alexandre Pooladian, Heli Ben-Hamu, Carles Domingo-Enrich, Brandon Amos, Yaron Lipman, and Ricky Chen
• Abstract要約: 連続時間生成モデルを訓練するためのシミュレーション不要な手法は、ノイズ分布と個々のデータサンプルの間の確率経路を構築する。 データとノイズサンプル間の非自明な結合を利用するより一般的なフレームワークであるMultisample Flow Matchingを提案する。 提案手法は,イメージネットデータセットのサンプル一貫性を向上し,低コストなサンプル生成に繋がることを示す。
• 参考スコア（独自算出の注目度）: 32.512116492601145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simulation-free methods for training continuous-time generative models construct probability paths that go between noise distributions and individual data samples. Recent works, such as Flow Matching, derived paths that are optimal for each data sample. However, these algorithms rely on independent data and noise samples, and do not exploit underlying structure in the data distribution for constructing probability paths. We propose Multisample Flow Matching, a more general framework that uses non-trivial couplings between data and noise samples while satisfying the correct marginal constraints. At very small overhead costs, this generalization allows us to (i) reduce gradient variance during training, (ii) obtain straighter flows for the learned vector field, which allows us to generate high-quality samples using fewer function evaluations, and (iii) obtain transport maps with lower cost in high dimensions, which has applications beyond generative modeling. Importantly, we do so in a completely simulation-free manner with a simple minimization objective. We show that our proposed methods improve sample consistency on downsampled ImageNet data sets, and lead to better low-cost sample generation.
• Abstract（参考訳）: 連続時間生成モデルのトレーニングのためのシミュレーションフリー手法は、ノイズ分布と個々のデータサンプルの間の確率経路を構築する。 フローマッチングのような最近の研究は、各データサンプルに最適な導出パスである。 しかし、これらのアルゴリズムは独立したデータとノイズサンプルに依存しており、確率経路を構築するためにデータ分布の基盤構造を活用しない。 本稿では,データとノイズサンプル間の非自明な結合を,適切な限界制約を満たしながら利用する,より一般的なフレームワークであるマルチサンプルフローマッチングを提案する。 非常に小さなオーバーヘッドコストで、この一般化によって 一 訓練中の勾配のばらつきを低減すること。 (ii)学習ベクトル場に対してより直線的な流れを得るため、少ない機能評価で高品質なサンプルを生成できる。 三 高次元の低コストで輸送地図を得ることで、生成的モデリングを超えることができる。 重要なことは、単純な最小化目標で完全にシミュレーションのない方法で行う。 提案手法は,イメージネットデータセットのサンプル一貫性を向上し,低コストなサンプル生成に繋がることを示す。

関連論文リスト

• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• Learning Sampling Distributions for Model Predictive Control [36.82905770866734]
  モデル予測制御(MPC)に対するサンプリングに基づくアプローチは、MPCに対する現代のアプローチの基盤となっている。 我々は、学習された分布を最大限に活用できるように、潜在空間における全ての操作を実行することを提案する。 具体的には、学習問題を双方向の最適化として捉え、バックプロパゲーションスルータイムでコントローラをトレーニングする方法を示す。
  論文  参考訳（メタデータ） (2022-12-05T20:35:36Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution Samples [19.311470287767385]
  そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。 提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2022-06-08T18:59:21Z)
• Learn from Unpaired Data for Image Restoration: A Variational Bayes Approach [18.007258270845107]
  境界分布から抽出したデータから結合確率密度関数を学習するための深層生成法 LUD-VAE を提案する。 本稿では,LUD-VAEによって生成された合成データを用いて,実世界の画像認識と超分解能タスクに適用し,モデルを訓練する。
  論文  参考訳（メタデータ） (2022-04-21T13:27:17Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Effective Proximal Methods for Non-convex Non-smooth Regularized Learning [27.775096437736973]
  独立サンプリング方式は、一般に使用されている一様サンプリング方式の性能を向上させる傾向にあることを示す。 我々の新しい分析は、サンプリングの速度が今までで最高のものより速いことも示しています。
  論文  参考訳（メタデータ） (2020-09-14T16:41:32Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Learning Entangled Single-Sample Distributions via Iterative Trimming [28.839136703139225]
  そこで本研究では, 反復トリミング標本に基づいて, 簡便かつ効率的な手法を解析し, トリミング標本集合上のパラメータを再推定する。 対数反復法では, 誤差が$lceil alpha n rceil$-th ノイズ点の雑音レベルにのみ依存する推定値が出力されることを示す。
  論文  参考訳（メタデータ） (2020-04-20T18:37:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。