論文の概要: Cauchy-Schwarz Divergence Information Bottleneck for Regression
- arxiv url: http://arxiv.org/abs/2404.17951v1
- Date: Sat, 27 Apr 2024 16:13:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 18:32:14.046648
- Title: Cauchy-Schwarz Divergence Information Bottleneck for Regression
- Title（参考訳）: Cauchy-Schwarz分権情報箱
- Authors: Shujian Yu, Xi Yu, Sigurd Løkse, Robert Jenssen, Jose C. Principe,
- Abstract要約: 情報ボトルネック(IB)アプローチは、ディープニューラルネットワークの一般化、堅牢性、説明可能性を改善するために人気がある。
我々は、コーシー=シュワルツ分岐の好ましい性質を利用して、深いニューラルネットワークでIBをパラメータ化する新しい方法を開発した。
我々は6つの実世界の回帰タスクにおいて、他の人気のある深いIBアプローチよりも優れた性能を示す。
- 参考スコア（独自算出の注目度）: 27.768887283866643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The information bottleneck (IB) approach is popular to improve the generalization, robustness and explainability of deep neural networks. Essentially, it aims to find a minimum sufficient representation $\mathbf{t}$ by striking a trade-off between a compression term $I(\mathbf{x};\mathbf{t})$ and a prediction term $I(y;\mathbf{t})$, where $I(\cdot;\cdot)$ refers to the mutual information (MI). MI is for the IB for the most part expressed in terms of the Kullback-Leibler (KL) divergence, which in the regression case corresponds to prediction based on mean squared error (MSE) loss with Gaussian assumption and compression approximated by variational inference. In this paper, we study the IB principle for the regression problem and develop a new way to parameterize the IB with deep neural networks by exploiting favorable properties of the Cauchy-Schwarz (CS) divergence. By doing so, we move away from MSE-based regression and ease estimation by avoiding variational approximations or distributional assumptions. We investigate the improved generalization ability of our proposed CS-IB and demonstrate strong adversarial robustness guarantees. We demonstrate its superior performance on six real-world regression tasks over other popular deep IB approaches. We additionally observe that the solutions discovered by CS-IB always achieve the best trade-off between prediction accuracy and compression ratio in the information plane. The code is available at \url{https://github.com/SJYuCNEL/Cauchy-Schwarz-Information-Bottleneck}.
- Abstract（参考訳）: 情報ボトルネック(IB)アプローチは、ディープニューラルネットワークの一般化、堅牢性、説明可能性を改善するために人気がある。
基本的には、圧縮項 $I(\mathbf{x};\mathbf{t})$ と予測項 $I(y;\mathbf{t})$ とのトレードオフを打つことで、最小の表現 $\mathbf{t}$ を見つけることを目的としている。
MIは、KL(Kullback-Leibler)の発散で表されるほとんどの部分において、平均二乗誤差(MSE)損失とガウス的仮定と変分推論によって近似された圧縮に基づく予測に対応する。
本稿では、回帰問題に対するICBの原理を考察し、コーシー・シュワルツ(CS)の分岐の好ましい性質を利用して、深いニューラルネットワークでIBをパラメータ化する新しい方法を開発する。
これにより、MSEに基づく回帰から脱却し、変分近似や分布仮定を回避して推定を容易にする。
提案するCS-IBの一般化能力の改善について検討し,強い対向性保証を示す。
我々は6つの実世界の回帰タスクにおいて、他の人気のある深いIBアプローチよりも優れた性能を示す。
また,CS-IBによって発見された解は,情報平面における予測精度と圧縮比との最良のトレードオフを常に達成している。
コードは \url{https://github.com/SJYuCNEL/Cauchy-Schwarz-Information-Bottleneck} で公開されている。
関連論文リスト
- An Optimal Transport Approach for Network Regression [0.6238182916866519]
我々は、Fr'echet平均に基づく距離空間上の一般化回帰モデルにおける最近の発展の上に構築する。
本稿では,ワッサーシュタイン計量を用いたネットワーク回帰手法を提案する。
論文 参考訳（メタデータ） (2024-06-18T02:03:07Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Compressed and distributed least-squares regression: convergence rates
with applications to Federated Learning [9.31522898261934]
機械学習の勾配アルゴリズムに対する圧縮の影響について検討する。
いくつかの非バイアス圧縮演算子間の収束率の差を強調した。
我々はその結果を連合学習の事例にまで拡張する。
論文 参考訳（メタデータ） (2023-08-02T18:02:00Z) - Towards understanding neural collapse in supervised contrastive learning with the information bottleneck method [26.874007846077884]
ニューラル崩壊(Neural collapse)とは、パフォーマンスプレートを超えてトレーニングされたディープニューラルネットワークの最終層におけるアクティベーションの幾何学である。
分類問題の最適IB解に近づくと、神経崩壊は特に良い一般化をもたらすことを実証する。
論文 参考訳（メタデータ） (2023-05-19T18:41:17Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - A Novel Regression Loss for Non-Parametric Uncertainty Optimization [7.766663822644739]
不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。
これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。
この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
論文 参考訳（メタデータ） (2021-01-07T19:12:06Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。