論文の概要: Expressive Score-Based Priors for Distribution Matching with Geometry-Preserving Regularization

• arxiv url: http://arxiv.org/abs/2506.14607v1
• Date: Tue, 17 Jun 2025 15:08:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.538194
• Title: Expressive Score-Based Priors for Distribution Matching with Geometry-Preserving Regularization
• Title（参考訳）: 幾何保存正則化を用いた分布マッチングのための表現的スコアベース優先法
• Authors: Ziyu Gong, Jim Lim, David I. Inouye,
• Abstract要約: 勾配に基づくDMトレーニングは、その密度ではなく、前のスコア関数のみを必要とする。 このアプローチは固定された事前からのバイアスを排除し、幾何保存正規化をより効果的に利用できるようにする。 提案手法は,他の拡散法よりも安定性と計算効率がよいことを示す。
• 参考スコア（独自算出の注目度）: 10.432302605566331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distribution matching (DM) is a versatile domain-invariant representation learning technique that has been applied to tasks such as fair classification, domain adaptation, and domain translation. Non-parametric DM methods struggle with scalability and adversarial DM approaches suffer from instability and mode collapse. While likelihood-based methods are a promising alternative, they often impose unnecessary biases through fixed priors or require explicit density models (e.g., flows) that can be challenging to train. We address this limitation by introducing a novel approach to training likelihood-based DM using expressive score-based prior distributions. Our key insight is that gradient-based DM training only requires the prior's score function -- not its density -- allowing us to train the prior via denoising score matching. This approach eliminates biases from fixed priors (e.g., in VAEs), enabling more effective use of geometry-preserving regularization, while avoiding the challenge of learning an explicit prior density model (e.g., a flow-based prior). Our method also demonstrates better stability and computational efficiency compared to other diffusion-based priors (e.g., LSGM). Furthermore, experiments demonstrate superior performance across multiple tasks, establishing our score-based method as a stable and effective approach to distribution matching. Source code available at https://github.com/inouye-lab/SAUB.
• Abstract（参考訳）: 分散マッチング(DM)は、公平な分類、ドメイン適応、ドメイン翻訳といったタスクに応用された汎用的なドメイン不変表現学習技術である。 非パラメトリックDM法はスケーラビリティに悩まされ、逆DM法は不安定性とモード崩壊に悩まされる。 可能性ベースの手法は有望な代替手段であるが、固定された事前を通じて不必要なバイアスを課すことや、トレーニングが困難な明示的な密度モデル(例えばフロー)を必要とすることも多い。 この制限に対処するために、表現的スコアに基づく事前分布を用いて、確率に基づくDMをトレーニングする新しいアプローチを導入する。 私たちの重要な洞察は、勾配に基づくDMトレーニングは、前者のスコア関数(密度ではなく)しか必要としないということです。 このアプローチは固定された事前(例えば、VAE)からのバイアスを排除し、幾何保存正則化をより効果的に利用できるようにすると同時に、明示的な事前密度モデル(例えば、フローベースの事前)を学ぶことの難しさを回避する。 提案手法は,他の拡散型プリエント(LSGMなど)と比較して,安定性と計算効率が向上することを示す。 さらに,複数のタスクに対して優れた性能を示す実験を行い,安定かつ効果的な分散マッチング手法としてスコアベースの手法を確立した。 ソースコードはhttps://github.com/inouye-lab/SAUB.comで公開されている。

関連論文リスト

• Enhanced OoD Detection through Cross-Modal Alignment of Multi-Modal Representations [2.992602379681373]
  マルチモーダル微調整により,OoDDの性能が向上することを示す。 本稿では,IDデータの画像とテキストの埋め込み距離を正規化することにより,モーダルアライメントを向上させる訓練目標を提案する。
  論文  参考訳（メタデータ） (2025-03-24T16:00:21Z)
• Asymmetric Co-Training for Source-Free Few-Shot Domain Adaptation [5.611768906855499]
  SFFSDAシナリオに特化して設計された非対称コトレーニング(ACT)手法を提案する。 ターゲットモデルをトレーニングするために、2段階の最適化プロセスを使用します。 本研究は,少数のラベル付き対象データのみを用いた事前学習モデルの適用により,実用的で信頼性の高い解が得られることを示唆する。
  論文  参考訳（メタデータ） (2025-02-20T02:58:45Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Training Data Attribution via Approximate Unrolled Differentiation [8.87519936904341]
  影響関数のような暗黙の微分に基づく手法は、計算的に効率的になるが、過小評価を考慮できない。 我々は、影響関数のような公式を用いて計算される近似アンローリングベースのTDA手法であるSourceを紹介する。
  論文  参考訳（メタデータ） (2024-05-20T17:17:44Z)
• Diffusion Model for Dense Matching [34.13580888014]
  ペア画像間の密接な対応を確立する目的は、データ項と先行項の2つの項からなる。 我々はDiffMatchを提案する。DiffMatchは、データと事前条件の両方を明示的にモデル化する新しい条件付き拡散ベースのフレームワークである。 実験の結果,既存の手法に比べて,提案手法の大幅な性能向上が示された。
  論文  参考訳（メタデータ） (2023-05-30T14:58:24Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Tune it the Right Way: Unsupervised Validation of Domain Adaptation via Soft Neighborhood Density [125.64297244986552]
  本稿では,点間の類似度分布のエントロピーを計算し,ソフト近傍の密度を測定する教師なし検証基準を提案する。 私たちの基準は、競合する検証方法よりもシンプルですが、より効果的です。
  論文  参考訳（メタデータ） (2021-08-24T17:41:45Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。