Fugu-MT 論文翻訳(概要): Generalization and Memorization: The Bias Potential Model

論文の概要: Generalization and Memorization: The Bias Potential Model

arxiv url: http://arxiv.org/abs/2011.14269v4
Date: Tue, 2 Mar 2021 03:57:31 GMT
ステータス: 処理完了
システム内更新日: 2021-06-07 09:07:57.582456
Title: Generalization and Memorization: The Bias Potential Model
Title（参考訳）: 一般化と記憶:バイアスポテンシャルモデル
Authors: Hongkang Yang and Weinan E
Abstract要約: 生成モデルと密度推定器は、関数の学習モデルとは全く異なる振る舞いをする。バイアスポテンシャルモデルでは、早期停止が採用された場合、次元非依存の一般化精度が達成可能であることを示す。長期的には、モデルはサンプルを記憶するか、分岐させる。
参考スコア（独自算出の注目度）: 9.975163460952045
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Models for learning probability distributions such as generative models and density estimators behave quite differently from models for learning functions. One example is found in the memorization phenomenon, namely the ultimate convergence to the empirical distribution, that occurs in generative adversarial networks (GANs). For this reason, the issue of generalization is more subtle than that for supervised learning. For the bias potential model, we show that dimension-independent generalization accuracy is achievable if early stopping is adopted, despite that in the long term, the model either memorizes the samples or diverges.
Abstract（参考訳）: 生成モデルや密度推定器のような確率分布の学習モデルは、学習関数のモデルとは全く異なる振る舞いをする。 1つの例は記憶現象、すなわち、生成的敵ネットワーク(GAN)で起こる経験的分布への究極の収束である。このため、一般化の問題は教師あり学習よりも微妙である。バイアスポテンシャルモデルでは, 早期停止が採用されれば, 次元非依存一般化精度は達成可能であり, 長期的には標本を記憶するか, 発散するかのいずれかである。

関連論文リスト

Universality in Transfer Learning for Linear Models [18.427215139020625]
回帰モデルと二分分類モデルの両方を対象とした線形モデルにおける伝達学習の問題点について検討する。我々は、厳密かつ厳密な分析を行い、事前訓練されたモデルと微調整されたモデルに対する一般化誤差(回帰)と分類誤差(二分分類)を関連付ける。
論文参考訳（メタデータ） (2024-10-03T03:09:09Z)
Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
論文参考訳（メタデータ） (2024-06-07T14:29:21Z)
Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文参考訳（メタデータ） (2024-06-06T17:59:09Z)
On the Generalization Properties of Diffusion Models [33.93850788633184]
この研究は拡散モデルの一般化特性を包括的に理論的に探求することを目的としている。我々は、スコアベース拡散モデルのトレーニング力学と合わせて、タンデムで進化する一般化ギャップの理論的推定値を確立する。我々は定量分析をデータ依存のシナリオに拡張し、対象の分布を密度の連続として表現する。
論文参考訳（メタデータ） (2023-11-03T09:20:20Z)
On the Generalization of Diffusion Model [42.447639515467934]
生成したデータとトレーニングセットの相互情報によって測定される生成モデルの一般化を定義する。実験的最適拡散モデルでは, 決定論的サンプリングによって生成されたデータは, すべてトレーニングセットに強く関連しており, 一般化が不十分であることを示す。本稿では,経験的最適解が一般化問題を持たない別の学習目標を提案する。
論文参考訳（メタデータ） (2023-05-24T04:27:57Z)
A Mathematical Framework for Learning Probability Distributions [0.0]
生成的モデリングと密度推定は近年非常にポピュラーな話題になっています本論文は、すべての有名なモデルを単純な原理に基づいて導出できる数学的枠組みを提供する。特に,これらのモデルが訓練中に暗黙的な正規化を楽しむことを証明し,早期停止時の一般化誤差が次元性の呪いを避ける。
論文参考訳（メタデータ） (2022-12-22T04:41:45Z)
On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文参考訳（メタデータ） (2022-06-09T17:12:32Z)
Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文参考訳（メタデータ） (2021-06-15T18:34:41Z)
Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
論文参考訳（メタデータ） (2020-12-31T07:24:30Z)
Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。