Fugu-MT 論文翻訳(概要): Properties of f-divergences and f-GAN training

論文の概要: Properties of f-divergences and f-GAN training

arxiv url: http://arxiv.org/abs/2009.00757v1
Date: Wed, 2 Sep 2020 00:21:57 GMT
ステータス: 処理完了
システム内更新日: 2022-10-22 18:33:49.443033
Title: Properties of f-divergences and f-GAN training
Title（参考訳）: f-ダイバージェンスの性質とf-GANトレーニング
Authors: Matt Shannon
Abstract要約: 本稿では,f-GANトレーニングの基礎となるf-divergence下界の基本的な導出について述べる。我々は,f-ディバージェンスとf-GANの訓練において,情報的だが不適切な性質を導出する。
参考スコア（独自算出の注目度）: 3.1100318794833037
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this technical report we describe some properties of f-divergences and f-GAN training. We present an elementary derivation of the f-divergence lower bounds which form the basis of f-GAN training. We derive informative but perhaps underappreciated properties of f-divergences and f-GAN training, including a gradient matching property and the fact that all f-divergences agree up to an overall scale factor on the divergence between nearby distributions. We provide detailed expressions for computing various common f-divergences and their variational lower bounds. Finally, based on our reformulation, we slightly generalize f-GAN training in a way that may improve its stability.
Abstract（参考訳）: 本稿では,f-分枝とf-GAN訓練の特性について述べる。本稿では,f-GANトレーニングの基礎となるf-divergence下界の基本的な導出について述べる。我々は,f-divergences と f-gan のトレーニングにおいて,すべての f-divergences が近傍分布のばらつきに関する全体的なスケールファクターに一致することを含む,情報的だが過小評価される性質を導出する。様々な共通 f-次元とその変分下界を計算するための詳細な表現を提供する。最後に、我々の改革に基づき、安定性を向上させるためにf-GANトレーニングを少し一般化する。

関連論文リスト

Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
論文参考訳（メタデータ） (2024-10-08T12:26:48Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
FedIN: Federated Intermediate Layers Learning for Model Heterogeneity [7.781409257429762]
フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
論文参考訳（メタデータ） (2023-04-03T07:20:43Z)
On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文参考訳（メタデータ） (2022-04-22T15:56:43Z)
Discretely Indexed Flows [1.0079626733116611]
本稿では,変分推定問題の解法として離散インデックスフロー(DIF)を提案する。 DIFは正規化フロー(NF)の拡張として構築され、決定論的輸送は離散的にインデックス付けされる。これらは、トラクタブル密度と単純なサンプリングスキームの両方の利点があり、変分推論(VI)と変分密度推定(VDE)の二重問題に利用できる。
論文参考訳（メタデータ） (2022-04-04T10:13:43Z)
What training reveals about neural network complexity [80.87515604428346]
この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
論文参考訳（メタデータ） (2021-06-08T08:58:00Z)
Pareto GAN: Extending the Representational Power of GANs to Heavy-Tailed Distributions [6.356866333887868]
既存のGANアーキテクチャは,重み付き分布の挙動にマッチする作業が不十分であることを示す。我々は, 極値理論とニューラルネットワークの機能的性質を用いて, 敵対的特徴の挙動に適合する分布を学習する。
論文参考訳（メタデータ） (2021-01-22T14:06:02Z)
Effect of the initial configuration of weights on the training and function of artificial neural networks [0.0]
グラディエントDescentを用いて訓練した2層ReLUネットワークの重みの偏りを定量的に評価した。我々は,SGDによるトレーニングを成功させることで,初期重量設定の近辺にネットワークを置き去りにすることを発見した。以上の結果から,SGDが局所最小値を効率的に検出できる能力は,重量のランダムな初期配置の近傍に限られていることが示唆された。
論文参考訳（メタデータ） (2020-12-04T12:13:12Z)
Explanation-Guided Training for Cross-Domain Few-Shot Classification [96.12873073444091]
クロスドメイン・ショット分類タスク(CD-FSC)は、データセットで表されるドメインをまたいで一般化する要件と、少数ショット分類を組み合わせたものである。既存のFSCモデルに対する新しいトレーニング手法を提案する。説明誘導学習はモデル一般化を効果的に改善することを示す。
論文参考訳（メタデータ） (2020-07-17T07:28:08Z)
Reciprocal Adversarial Learning via Characteristic Functions [12.961770002117142]
GAN(Generative Adversarial Nets)は、複雑な分散を伴うタスクに好まれるツールである。特徴関数(CF)を用いて分布を時間ではなく時間的に比較する方法を示す。次に、逆数が存在する場合の埋め込み領域とデータ領域の等価性を証明し、自動エンコーダ構造で自然にGANを開発する。この効率的な構造は、単純なトレーニング戦略とともに2つのモジュールのみを使用して、双方向で鮮明な画像を生成する。
論文参考訳（メタデータ） (2020-06-15T14:04:55Z)
Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
論文参考訳（メタデータ） (2020-03-06T23:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。