論文の概要: Towards Practical Non-Adversarial Distribution Alignment via Variational
Bounds
- arxiv url: http://arxiv.org/abs/2310.19690v1
- Date: Mon, 30 Oct 2023 16:05:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 19:19:07.188965
- Title: Towards Practical Non-Adversarial Distribution Alignment via Variational
Bounds
- Title(参考訳): 変分境界による非逆分布アライメントの実現に向けて
- Authors: Ziyu Gong, Ben Usman, Han Zhao, David I. Inouye
- Abstract要約: 分布アライメントは、フェアネスとロバストネスの応用で不変表現を学ぶのに使うことができる。
ほとんどの先行研究は対向アライメント法を頼っているが、結果として生じるミニマックス問題は不安定で最適化が難しい。
本稿では,任意のモデルパイプラインに適用可能な非逆VAEベースのアライメント手法を提案する。
- 参考スコア(独自算出の注目度): 20.970341602452596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distribution alignment can be used to learn invariant representations with
applications in fairness and robustness. Most prior works resort to adversarial
alignment methods but the resulting minimax problems are unstable and
challenging to optimize. Non-adversarial likelihood-based approaches either
require model invertibility, impose constraints on the latent prior, or lack a
generic framework for alignment. To overcome these limitations, we propose a
non-adversarial VAE-based alignment method that can be applied to any model
pipeline. We develop a set of alignment upper bounds (including a noisy bound)
that have VAE-like objectives but with a different perspective. We carefully
compare our method to prior VAE-based alignment approaches both theoretically
and empirically. Finally, we demonstrate that our novel alignment losses can
replace adversarial losses in standard invariant representation learning
pipelines without modifying the original architectures -- thereby significantly
broadening the applicability of non-adversarial alignment methods.
- Abstract(参考訳): 分布アライメントは、フェアネスとロバストネスの応用で不変表現を学ぶのに使うことができる。
ほとんどの先行研究は対向アライメント法を頼っているが、結果として生じるミニマックス問題は不安定で最適化が難しい。
非敵対的可能性に基づくアプローチは、モデルの可逆性を必要とするか、潜在する事前に制約を課すか、あるいはアライメントのための一般的なフレームワークが欠如している。
これらの制約を克服するために,任意のモデルパイプラインに適用可能な非逆vaeに基づくアライメント手法を提案する。
我々は、vaeのような目的を持つが異なる視点を持つアライメント上界(ノイズ境界を含む)のセットを開発する。
提案手法を,理論上も経験的にも,従来のVAEベースのアライメント手法と比較する。
最後に,新たなアライメント損失により,標準不変表現学習パイプラインの敵意損失を,元のアーキテクチャを変更せずに置き換えることができることを実証し,非逆アライメント手法の適用性を大幅に拡大することを示した。
関連論文リスト
- Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳(メタデータ) (2023-11-08T00:10:21Z) - On Regularization and Inference with Label Constraints [62.60903248392479]
機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。
正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。
制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
論文 参考訳(メタデータ) (2023-07-08T03:39:22Z) - Contrastive and Non-Contrastive Self-Supervised Learning Recover Global
and Local Spectral Embedding Methods [19.587273175563745]
自己監督学習(SSL)は、入力とペアの正の関係は意味のある表現を学ぶのに十分である。
本稿では,これらの制約に対処するために,スペクトル多様体学習の推進力の下で統一的な枠組みを提案する。
論文 参考訳(メタデータ) (2022-05-23T17:59:32Z) - An Adaptive Incremental Gradient Method With Support for Non-Euclidean
Norms [19.41328109094503]
そこで本研究では,SAGAアルゴリズムの適応型を新たにいくつか提案し,解析する。
一般的な設定の下で収束保証を確立する。
我々は、非ユークリッドノルムをサポートするためにSAGAの分析を改善した。
論文 参考訳(メタデータ) (2022-04-28T09:43:07Z) - Mapping conditional distributions for domain adaptation under
generalized target shift [0.0]
我々は、条件シフトとラベルシフト(GeTarS)の下でのソースとターゲットドメイン間の教師なしドメイン適応(UDA)の問題を考える。
最近のアプローチでは、ドメイン不変表現を学習するが、実際的な制限があり、実際には成り立たない強い仮定に依存している。
本稿では,既存の欠点を回避した,事前訓練された表現の整合化のための,新規で汎用的なアプローチについて検討する。
論文 参考訳(メタデータ) (2021-10-26T14:25:07Z) - A Prototype-Oriented Framework for Unsupervised Domain Adaptation [52.25537670028037]
メモリと計算効率のよい確率的フレームワークを提供し、クラスプロトタイプを抽出し、ターゲットとなる特徴をそれらと整合させる。
本稿では,単一ソース,マルチソース,クラス不均衡,ソースプライベートドメイン適応など,幅広いシナリオにおいて,本手法の汎用性を実証する。
論文 参考訳(メタデータ) (2021-10-22T19:23:22Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z) - On Lower Bounds for Standard and Robust Gaussian Process Bandit
Optimization [55.937424268654645]
有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。
本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
論文 参考訳(メタデータ) (2020-08-20T03:48:14Z) - Convex Representation Learning for Generalized Invariance in
Semi-Inner-Product Space [32.442549424823355]
本研究では, 半ノルムにおける多種多様な一般化表現のアルゴリズムを開発し, 先頭の表現子を定式化し, 境界を定式化する。
これにより、正確な予測とともに、我々の実験で確認されているように、表現を効率的かつ効果的に学習することができる。
論文 参考訳(メタデータ) (2020-04-25T18:54:37Z) - Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable
Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。
入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文 参考訳(メタデータ) (2020-03-26T22:10:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。