論文の概要: Augmented Bridge Matching
- arxiv url: http://arxiv.org/abs/2311.06978v1
- Date: Sun, 12 Nov 2023 22:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 16:04:52.877553
- Title: Augmented Bridge Matching
- Title(参考訳): 拡張ブリッジマッチング
- Authors: Valentin De Bortoli, Guan-Horng Liu, Tianrong Chen, Evangelos A.
Theodorou, Weilie Nie
- Abstract要約: フローとブリッジマッチングのプロセスは、任意のデータ分布の間を補間することができる。
マッチングプロセスの簡単な変更により,速度場を増大させることで,この結合が回復することを示す。
画像翻訳タスクの混合学習における拡張の効率について説明する。
- 参考スコア(独自算出の注目度): 32.668433085737036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Flow and bridge matching are a novel class of processes which encompass
diffusion models. One of the main aspect of their increased flexibility is that
these models can interpolate between arbitrary data distributions i.e. they
generalize beyond generative modeling and can be applied to learning stochastic
(and deterministic) processes of arbitrary transfer tasks between two given
distributions. In this paper, we highlight that while flow and bridge matching
processes preserve the information of the marginal distributions, they do
\emph{not} necessarily preserve the coupling information unless additional,
stronger optimality conditions are met. This can be problematic if one aims at
preserving the original empirical pairing. We show that a simple modification
of the matching process recovers this coupling by augmenting the velocity field
(or drift) with the information of the initial sample point. Doing so, we lose
the Markovian property of the process but preserve the coupling information
between distributions. We illustrate the efficiency of our augmentation in
learning mixture of image translation tasks.
- Abstract(参考訳): フローとブリッジマッチングは拡散モデルを包含する新しいプロセスのクラスである。
柔軟性の向上の大きな側面の1つは、これらのモデルが任意のデータ分布間を補間できる、すなわち、生成的モデリングを超えて一般化し、2つの与えられた分布間の任意の転送タスクの確率的(および決定論的)過程の学習に適用できることである。
本稿では, 流れとブリッジマッチングのプロセスが限界分布の情報を保持する一方で, より強固な最適性条件を満たさない限り, 必ずしも結合情報を保存できないことを強調する。
これは、元の経験的ペアリングを保存しようとすると問題となる。
一致するプロセスの簡単な変更により,初期試料点の情報と速度場(あるいはドリフト)を増大させることで,この結合を回復することを示す。
そのため、プロセスのマルコフ的性質は失われるが、分布間のカップリング情報は保持される。
画像翻訳タスクの混合学習における拡張の効率について説明する。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Selective Mixup Helps with Distribution Shifts, But Not (Only) because
of Mixup [26.105340203096596]
本研究では,ペアの非ランダム選択がトレーニング分布に影響を及ぼし,混合とは無関係な手段による一般化が向上することを示す。
選択混合法と再サンプリング法という2つの手法の間に新しい等価性を見出した。
論文 参考訳(メタデータ) (2023-05-26T10:56:22Z) - Structural Pruning for Diffusion Models [65.02607075556742]
Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。
複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-05-18T12:38:21Z) - Improving Fair Training under Correlation Shifts [33.385118640843416]
特にラベルとセンシティブなグループ間のバイアスが変化すると、トレーニングされたモデルの公平性に直接影響し、悪化する可能性がある。
既存のプロセス内フェアアルゴリズムは、精度とグループフェアネスに根本的な限界があることを解析的に示す。
相関シフトを減らすために入力データをサンプリングする新しい前処理ステップを提案する。
論文 参考訳(メタデータ) (2023-02-05T07:23:35Z) - Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence
Embedding [51.48582649050054]
符号化文の特徴間の相関関係を解消する表現正規化手法を提案する。
またNystromカーネル近似法であるKernel-Whiteningを提案する。
実験により,Kernel-Whiteningは分布内精度を維持しつつ,分布外データセット上でのBERTの性能を著しく向上することが示された。
論文 参考訳(メタデータ) (2022-10-14T05:56:38Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳(メタデータ) (2021-11-22T06:26:29Z) - Contrastive learning of strong-mixing continuous-time stochastic
processes [53.82893653745542]
コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。
拡散の場合,小~中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
論文 参考訳(メタデータ) (2021-03-03T23:06:47Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳(メタデータ) (2020-09-01T17:20:08Z) - Robust model training and generalisation with Studentising flows [22.757298187704745]
本稿では、ロバストな(特に耐性のある)統計からの洞察に基づいて、これらの手法をさらに改善する方法について論じる。
本稿では, ガウス分布の簡易なドロップイン置換として, 太い尾の潜伏分布を持つフローベースモデルを提案する。
いくつかの異なるデータセットの実験により、提案手法の有効性が確認された。
論文 参考訳(メタデータ) (2020-06-11T16:47:01Z) - Beyond the Mean-Field: Structured Deep Gaussian Processes Improve the
Predictive Uncertainties [12.068153197381575]
高速収束を達成しつつ、潜在過程間の共分散を維持できる新しい変分族を提案する。
新しいアプローチの効率的な実装を提供し、それをいくつかのベンチマークデータセットに適用します。
優れた結果をもたらし、最先端の代替品よりも精度とキャリブレーションされた不確実性推定とのバランスが良くなる。
論文 参考訳(メタデータ) (2020-05-22T11:10:59Z) - Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。
埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。
複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文 参考訳(メタデータ) (2020-03-09T13:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。