論文の概要: Bridging Maximum Likelihood and Adversarial Learning via
$\alpha$-Divergence
- arxiv url: http://arxiv.org/abs/2007.06178v1
- Date: Mon, 13 Jul 2020 04:06:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 22:28:07.530325
- Title: Bridging Maximum Likelihood and Adversarial Learning via
$\alpha$-Divergence
- Title(参考訳): alpha$-divergence による最大確率と逆学習の橋渡し
- Authors: Miaoyun Zhao, Yulai Cong, Shuyang Dai, Lawrence Carin
- Abstract要約: 本稿では,MLと逆学習の利点を統合するために$alpha$-Bridgeを提案する。
我々は、$alpha$-Bridgeの一般化が、最近開発された逆学習を正規化するためのアプローチと密接に関連していることを明らかにする。
- 参考スコア(独自算出の注目度): 78.26304241440113
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Maximum likelihood (ML) and adversarial learning are two popular approaches
for training generative models, and from many perspectives these techniques are
complementary. ML learning encourages the capture of all data modes, and it is
typically characterized by stable training. However, ML learning tends to
distribute probability mass diffusely over the data space, $e.g.$, yielding
blurry synthetic images. Adversarial learning is well known to synthesize
highly realistic natural images, despite practical challenges like mode
dropping and delicate training. We propose an $\alpha$-Bridge to unify the
advantages of ML and adversarial learning, enabling the smooth transfer from
one to the other via the $\alpha$-divergence. We reveal that generalizations of
the $\alpha$-Bridge are closely related to approaches developed recently to
regularize adversarial learning, providing insights into that prior work, and
further understanding of why the $\alpha$-Bridge performs well in practice.
- Abstract(参考訳): 最大可能性(ML)と逆学習は、生成モデルを訓練するための2つの一般的なアプローチであり、多くの観点からこれらの手法は相補的である。
ml学習は、すべてのデータモードのキャプチャを奨励し、典型的には安定したトレーニングによって特徴付けられる。
しかし、ML学習はデータ空間に拡散する確率質量を$e.$で分散し、ぼやけた合成画像を生成する傾向がある。
対戦学習は、モードドロップや微妙な訓練といった実践的な課題にもかかわらず、非常に現実的な自然画像を合成することがよく知られている。
我々は、mlと逆学習の利点を統一する$\alpha$-bridgeを提案し、$\alpha$-divergenceを介して一方から他方へのスムーズな転送を可能にする。
我々は、$\alpha$-Bridgeの一般化が、最近開発された逆学習を正規化するためのアプローチと密接に関連していることを明らかにし、それ以前の作業に対する洞察を提供し、なぜ$\alpha$-Bridgeが実際にうまく機能するのかをさらに理解する。
関連論文リスト
- Coherent Soft Imitation Learning [17.345411907902932]
模倣学習法は、政策の行動クローニング(BC)や報酬の逆強化学習(IRL)を通じて専門家から学ぶ。
この研究は、BCとIRLの両方の強度を捉える模倣法に由来する。
論文 参考訳(メタデータ) (2023-05-25T21:54:22Z) - Curriculum-Based Imitation of Versatile Skills [15.97723808124603]
模倣による学習スキルは、ロボットの直感的な教育にとって有望な概念である。
このようなスキルを学ぶ一般的な方法は、デモが与えられた可能性の最大化によってパラメトリックモデルを学ぶことである。
しかし、人間のデモンストレーションはしばしばマルチモーダルであり、同じタスクは複数の方法で解決される。
論文 参考訳(メタデータ) (2023-04-11T12:10:41Z) - Deep Active Learning Using Barlow Twins [0.0]
畳み込みニューラルネットワーク(CNN)の一般化性能は、トレーニング画像の量、品質、多様性に大きく左右される。
タスクのアクティブラーニングの目標は、ラベルのないプールから最も情報に富んだサンプルを引き出すことである。
本稿では,すべてのデータセットに対する能動的学習手法であるBarlowTwins(DALBT)を用いたDeep Active Learningを提案する。
論文 参考訳(メタデータ) (2022-12-30T12:39:55Z) - Implicit Offline Reinforcement Learning via Supervised Learning [83.8241505499762]
監視学習によるオフライン強化学習(RL)は、さまざまな専門レベルのポリシーによって収集されたデータセットからロボットスキルを学ぶための、シンプルで効果的な方法である。
我々は、暗黙的なモデルが返却情報を利用して、固定されたデータセットからロボットスキルを取得するために、明示的なアルゴリズムにマッチするか、あるいは性能を向上するかを示す。
論文 参考訳(メタデータ) (2022-10-21T21:59:42Z) - Virtual embeddings and self-consistency for self-supervised learning [43.086696088061416]
TriMixは、線形データを通じて仮想埋め込みを生成する自己教師型学習の新しい概念である。
我々は,TriMixを2.71%,0.41%改善した8つのベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2022-06-13T10:20:28Z) - End-to-end Multiple Instance Learning with Gradient Accumulation [2.2612425542955292]
本稿では,GPUメモリに制限されることなく,AMMILモデルのエンドツーエンドのトレーニングを可能にするトレーニング戦略を提案する。
我々はQMNISTとImagenetteの両方で実験を行い、性能とトレーニング時間について検討する。
このメモリ効率のアプローチは遅いが、メモリ拡張ベースラインと区別できないパフォーマンスに達する。
論文 参考訳(メタデータ) (2022-03-08T10:14:51Z) - Mutual Adversarial Training: Learning together is better than going
alone [82.78852509965547]
モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。
本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。
MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
論文 参考訳(メタデータ) (2021-12-09T15:59:42Z) - Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot
Learning [82.07273754143547]
トレーニング中に見られないカテゴリにモデルを一般化するためのメタ連続ゼロショット学習(MCZSL)アプローチを提案する。
属性の自己決定とスケールしたクラス正規化をメタラーニングベースのトレーニングと組み合わせることで、最先端の成果を上回ることができるのです。
論文 参考訳(メタデータ) (2021-02-23T18:36:14Z) - An Empirical Study of the Collapsing Problem in Semi-Supervised 2D Human
Pose Estimation [80.02124918255059]
半教師付き学習は、ラベルなし画像の探索によってモデルの精度を高めることを目的としている。
私たちは相互に教え合うために2つのネットワークを学びます。
各ネットワーク内の容易なイメージに関するより信頼性の高い予測は、他のネットワークに対応するハードイメージについて学ぶように教えるために使用される。
論文 参考訳(メタデータ) (2020-11-25T03:29:52Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。