論文の概要: Towards Practical Non-Adversarial Distribution Alignment via Variational Bounds

• arxiv url: http://arxiv.org/abs/2310.19690v1
• Date: Mon, 30 Oct 2023 16:05:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 19:19:07.188965
• Title: Towards Practical Non-Adversarial Distribution Alignment via Variational Bounds
• Title（参考訳）: 変分境界による非逆分布アライメントの実現に向けて
• Authors: Ziyu Gong, Ben Usman, Han Zhao, David I. Inouye
• Abstract要約: 分布アライメントは、フェアネスとロバストネスの応用で不変表現を学ぶのに使うことができる。 ほとんどの先行研究は対向アライメント法を頼っているが、結果として生じるミニマックス問題は不安定で最適化が難しい。 本稿では,任意のモデルパイプラインに適用可能な非逆VAEベースのアライメント手法を提案する。
• 参考スコア（独自算出の注目度）: 20.970341602452596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distribution alignment can be used to learn invariant representations with applications in fairness and robustness. Most prior works resort to adversarial alignment methods but the resulting minimax problems are unstable and challenging to optimize. Non-adversarial likelihood-based approaches either require model invertibility, impose constraints on the latent prior, or lack a generic framework for alignment. To overcome these limitations, we propose a non-adversarial VAE-based alignment method that can be applied to any model pipeline. We develop a set of alignment upper bounds (including a noisy bound) that have VAE-like objectives but with a different perspective. We carefully compare our method to prior VAE-based alignment approaches both theoretically and empirically. Finally, we demonstrate that our novel alignment losses can replace adversarial losses in standard invariant representation learning pipelines without modifying the original architectures -- thereby significantly broadening the applicability of non-adversarial alignment methods.
• Abstract（参考訳）: 分布アライメントは、フェアネスとロバストネスの応用で不変表現を学ぶのに使うことができる。 ほとんどの先行研究は対向アライメント法を頼っているが、結果として生じるミニマックス問題は不安定で最適化が難しい。 非敵対的可能性に基づくアプローチは、モデルの可逆性を必要とするか、潜在する事前に制約を課すか、あるいはアライメントのための一般的なフレームワークが欠如している。 これらの制約を克服するために,任意のモデルパイプラインに適用可能な非逆vaeに基づくアライメント手法を提案する。 我々は、vaeのような目的を持つが異なる視点を持つアライメント上界(ノイズ境界を含む)のセットを開発する。 提案手法を,理論上も経験的にも,従来のVAEベースのアライメント手法と比較する。 最後に,新たなアライメント損失により,標準不変表現学習パイプラインの敵意損失を,元のアーキテクチャを変更せずに置き換えることができることを実証し,非逆アライメント手法の適用性を大幅に拡大することを示した。

関連論文リスト

• A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
  現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。 この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。 我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
  論文  参考訳（メタデータ） (2024-06-03T17:55:02Z)
• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Cooperative Distribution Alignment via JSD Upper Bound [7.071749623370137]
  教師なし分布アライメントは、2つ以上のソース分布を共有整列分布にマッピングする変換を推定する。 このタスクには、生成モデリング、教師なしドメイン適応、社会的に認識された学習など、多くの応用がある。 我々は,従来のフローベースアプローチを,単一の非逆数フレームワークで統一し,一般化することを提案する。
  論文  参考訳（メタデータ） (2022-07-05T20:09:03Z)
• Deblurring via Stochastic Refinement [85.42730934561101]
  条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。 提案手法は,PSNRなどの歪み指標の点で競合する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:09Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Convex Representation Learning for Generalized Invariance in Semi-Inner-Product Space [32.442549424823355]
  本研究では, 半ノルムにおける多種多様な一般化表現のアルゴリズムを開発し, 先頭の表現子を定式化し, 境界を定式化する。 これにより、正確な予測とともに、我々の実験で確認されているように、表現を効率的かつ効果的に学習することができる。
  論文  参考訳（メタデータ） (2020-04-25T18:54:37Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。