Fugu-MT 論文翻訳(概要): Generalization Gap in Amortized Inference

論文の概要: Generalization Gap in Amortized Inference

arxiv url: http://arxiv.org/abs/2205.11640v1
Date: Mon, 23 May 2022 21:28:47 GMT
ステータス: 処理完了
システム内更新日: 2022-05-25 12:51:01.456843
Title: Generalization Gap in Amortized Inference
Title（参考訳）: Amortized Inferenceにおける一般化ギャップ
Authors: Mingtian Zhang and Peter Hayes and David Barber
Abstract要約: 確率モデルの一般的なクラス - 変分オートエンコーダ (VAE) の一般化について検討する。過度に適合する現象は、通常、償却推論ネットワークに支配されていることを示す。そこで本研究では,従来のウェイク・スリープ・アルゴリズムにヒントを得た新たな学習目標を提案する。
参考スコア（独自算出の注目度）: 17.951010274427187
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The ability of likelihood-based probabilistic models to generalize to unseen data is central to many machine learning applications such as lossless compression. In this work, we study the generalizations of a popular class of probabilistic models - the Variational Auto-Encoder (VAE). We point out the two generalization gaps that can affect the generalization ability of VAEs and show that the over-fitting phenomenon is usually dominated by the amortized inference network. Based on this observation we propose a new training objective, inspired by the classic wake-sleep algorithm, to improve the generalizations properties of amortized inference. We also demonstrate how it can improve generalization performance in the context of image modeling and lossless compression.
Abstract（参考訳）: 確率に基づく確率モデルが非知覚データに一般化する能力は、ロスレス圧縮のような多くの機械学習アプリケーションの中心である。本研究では,確率モデルの一般的なクラスである変分オートエンコーダ(VAE)の一般化について検討する。 VAEの一般化能力に影響を与える2つの一般化ギャップを指摘し、過度に適合する現象は通常、償却推論ネットワークに支配されていることを示す。この観察に基づいて,古典的なwake-sleepアルゴリズムにインスパイアされた新しい学習目標を提案し,償却推論の一般化特性を改善する。また,画像モデリングやロスレス圧縮の文脈において,一般化性能を向上できることを示す。

関連論文リスト

Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文参考訳（メタデータ） (2024-05-01T15:59:00Z)
A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文参考訳（メタデータ） (2023-11-13T01:48:08Z)
Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。空間性と一般化の基本的なトレードオフを示す。
論文参考訳（メタデータ） (2023-07-01T20:59:05Z)
Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文参考訳（メタデータ） (2023-01-16T14:25:02Z)
When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
論文参考訳（メタデータ） (2022-12-01T20:15:15Z)
Revisiting the Compositional Generalization Abilities of Neural Sequence Models [23.665350744415004]
一般的なSCANベンチマークで導入されたワンショットプリミティブな一般化に焦点を当てる。トレーニング分布をシンプルかつ直感的に修正することで、標準的なSeq-to-seqモデルでほぼ完璧な一般化性能が得られることを示す。
論文参考訳（メタデータ） (2022-03-14T18:03:21Z)
Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文参考訳（メタデータ） (2021-10-24T07:58:13Z)
Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文参考訳（メタデータ） (2021-06-15T18:34:41Z)
More Is More -- Narrowing the Generalization Gap by Adding Classification Heads [8.883733362171032]
我々は「TransNet」と呼ばれる入力変換に基づく既存のニューラルネットワークモデルのためのアーキテクチャ拡張を導入する。私たちのモデルは、トレーニング時間のみに使用でき、予測のために刈り取られ、結果としてベースモデルと同等のアーキテクチャになります。
論文参考訳（メタデータ） (2021-02-09T16:30:33Z)
Robustness to Augmentations as a Generalization metric [0.0]
一般化とは、目に見えないドメインを予測するモデルの能力です。拡張に頑健なモデルは、そうでないモデルよりも一般化可能であるという概念を用いて、モデルの一般化性能を予測する手法を提案する。提案手法は、ディープラーニングにおける一般化予測に関するNeurIPSコンペティションの最初のランナーアップソリューションであった。
論文参考訳（メタデータ） (2021-01-16T15:36:38Z)
Generalization and Memorization: The Bias Potential Model [9.975163460952045]
生成モデルと密度推定器は、関数の学習モデルとは全く異なる振る舞いをする。バイアスポテンシャルモデルでは、早期停止が採用された場合、次元非依存の一般化精度が達成可能であることを示す。長期的には、モデルはサンプルを記憶するか、分岐させる。
論文参考訳（メタデータ） (2020-11-29T04:04:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。