論文の概要: The Conditional Entropy Bottleneck
- arxiv url: http://arxiv.org/abs/2002.05379v1
- Date: Thu, 13 Feb 2020 07:46:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 09:42:28.749086
- Title: The Conditional Entropy Bottleneck
- Title(参考訳): 条件付きエントロピーボトルネック
- Authors: Ian Fischer
- Abstract要約: 我々は、頑健な一般化の失敗を、ホールトアウトセット上の精度や関連するメトリクスの失敗として特徴づける。
本稿では,モデルの品質を評価するために,最小限必要情報(MNI)基準を提案する。
MNI基準に関して良好に機能するモデルを訓練するために、新しい目的関数である条件エントロピー・ボトルネック(CEB)を提案する。
我々は,CEBモデルと決定論的モデル,および様々なデータセット上での変動情報ボトルネック(VIB)モデルの性能を比較することにより,我々の仮説を実験的に検証した。
- 参考スコア(独自算出の注目度): 8.797368310561058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Much of the field of Machine Learning exhibits a prominent set of failure
modes, including vulnerability to adversarial examples, poor
out-of-distribution (OoD) detection, miscalibration, and willingness to
memorize random labelings of datasets. We characterize these as failures of
robust generalization, which extends the traditional measure of generalization
as accuracy or related metrics on a held-out set. We hypothesize that these
failures to robustly generalize are due to the learning systems retaining too
much information about the training data. To test this hypothesis, we propose
the Minimum Necessary Information (MNI) criterion for evaluating the quality of
a model. In order to train models that perform well with respect to the MNI
criterion, we present a new objective function, the Conditional Entropy
Bottleneck (CEB), which is closely related to the Information Bottleneck (IB).
We experimentally test our hypothesis by comparing the performance of CEB
models with deterministic models and Variational Information Bottleneck (VIB)
models on a variety of different datasets and robustness challenges. We find
strong empirical evidence supporting our hypothesis that MNI models improve on
these problems of robust generalization.
- Abstract(参考訳): 機械学習の分野の多くは、悪意のある例への脆弱性、お粗末な分散(ood)検出、ミスキャリブレーション、データセットのランダムなラベルを記憶する意欲など、注目すべき障害モードを示している。
従来の一般化の尺度をホールドアウト集合上の精度または関連する指標として拡張するロバスト一般化の失敗を特徴付ける。
これらの失敗は、学習システムがトレーニングデータに関する情報を過剰に保持しているためである、という仮説を立てる。
この仮説を検証するために,モデルの品質を評価するために,最小必要情報(MNI)基準を提案する。
MNI基準に関して良好に機能するモデルを訓練するために,情報ボトルネック (IB) と密接に関連する新たな目的関数である条件エントロピーボトルネック (CEB) を提案する。
我々は, CEBモデルと決定論的モデルと, 様々なデータセットとロバスト性課題に関する変動情報ボトルネックモデルとを比較して, 仮説を実験的に検証した。
我々は、MNIモデルがロバスト一般化のこれらの問題を改善するという仮説を支持する強い経験的証拠を見出した。
関連論文リスト
- A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - A Guide for Practical Use of ADMG Causal Data Augmentation [0.0]
これらの課題に対処するためのソリューションとして、因果データ拡張戦略が指摘されている。
異なる設定を考慮したADMG因果拡大法を実験的に検討した。
論文 参考訳(メタデータ) (2023-04-03T09:31:13Z) - Bottlenecks CLUB: Unifying Information-Theoretic Trade-offs Among
Complexity, Leakage, and Utility [8.782250973555026]
ボトルネック問題(英: Bottleneck problem)は、機械学習と情報理論の分野において近年注目を集めている最適化問題の重要なクラスである。
本稿では,複雑性推論ユーティリティ・ボトルネック(CLUB)モデルと呼ばれる最適化問題の一般的なファミリーを提案する。
CLUBモデルは、他の情報理論プライバシモデルと同様に、これらの問題を一般化する。
論文 参考訳(メタデータ) (2022-07-11T14:07:48Z) - CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal
Relationships [8.679073301435265]
既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。
我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。
非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
論文 参考訳(メタデータ) (2022-07-07T21:28:23Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - TsmoBN: Interventional Generalization for Unseen Clients in Federated
Learning [23.519212374186232]
本研究では,分散学習パラダイムにおけるモデル一般化の課題を説明するために,学習構造因果モデル(SCM)を構築した。
FLモデルをテストクライアントに一般化するために,テスト固有および運動量追跡バッチ正規化(TsmoBN)を用いた簡易かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2021-10-19T13:46:37Z) - A non-asymptotic penalization criterion for model selection in mixture
of experts models [1.491109220586182]
ガウス型局所化moe(glome)回帰モデルを用いて異種データをモデル化する。
このモデルは、統計的推定とモデル選択の問題に関して難しい疑問を提起する。
本稿では,GLoMEモデルの成分数を推定する問題について,最大推定法を用いて検討する。
論文 参考訳(メタデータ) (2021-04-06T16:24:55Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳(メタデータ) (2021-02-17T18:25:30Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳(メタデータ) (2020-07-21T08:18:06Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。