論文の概要: Recognizable Information Bottleneck

• arxiv url: http://arxiv.org/abs/2304.14618v1
• Date: Fri, 28 Apr 2023 03:55:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 15:13:50.262354
• Title: Recognizable Information Bottleneck
• Title（参考訳）: 認識可能な情報ボトルネック
• Authors: Yilin Lyu, Xin Liu, Mingyang Song, Xinyue Wang, Yaxin Peng, Tieyong Zeng, Liping Jing
• Abstract要約: Information Bottlenecks (IB)は、情報圧縮によって見えないデータに一般化する表現を学習する。 IBは、空の一般化境界のため、現実のシナリオにおける一般化を保証できない。 本稿では、認識可能性批判を通じて表現の認識性を規則化する認識可能情報ボトルネック(RIB)を提案する。
• 参考スコア（独自算出の注目度）: 31.993478081354958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information Bottlenecks (IBs) learn representations that generalize to unseen data by information compression. However, existing IBs are practically unable to guarantee generalization in real-world scenarios due to the vacuous generalization bound. The recent PAC-Bayes IB uses information complexity instead of information compression to establish a connection with the mutual information generalization bound. However, it requires the computation of expensive second-order curvature, which hinders its practical application. In this paper, we establish the connection between the recognizability of representations and the recent functional conditional mutual information (f-CMI) generalization bound, which is significantly easier to estimate. On this basis we propose a Recognizable Information Bottleneck (RIB) which regularizes the recognizability of representations through a recognizability critic optimized by density ratio matching under the Bregman divergence. Extensive experiments on several commonly used datasets demonstrate the effectiveness of the proposed method in regularizing the model and estimating the generalization gap.
• Abstract（参考訳）: Information Bottlenecks (IB)は、情報圧縮によって見えないデータを一般化する表現を学ぶ。 しかし、既存のIBは空の一般化境界のため、現実のシナリオにおける一般化を保証できない。 最近のpac-bayes ibは、情報圧縮の代わりに情報複雑性を使用し、相互情報一般化境界との接続を確立する。 しかし、高価な第二次曲率の計算が必要であり、実用的応用を妨げる。 本稿では,表現の認識可能性と最近の機能的条件付き相互情報(f-CMI)の一般化境界との関係を確立する。 そこで本研究では,Bregman分散の下での密度比マッチングにより最適化された認識可能性評価により,表現の認識性を規則化する認識可能情報ボトルネック(RIB)を提案する。 いくつかの一般的なデータセットに対する大規模な実験は、モデルの正規化と一般化ギャップの推定において提案手法の有効性を示す。

関連論文リスト

• Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
  我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。 我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。 パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
  論文  参考訳（メタデータ） (2024-06-06T13:15:37Z)
• FNP: Fourier Neural Processes for Arbitrary-Resolution Data Assimilation [58.149902193341816]
  本稿では, テクティット・テキストbfFourier Neural Processs (FNP) を用いて, テクティット・arbitrary- resolution データ同化法を提案する。 固定解像度でトレーニングしたFNPは, 微調整を伴わずに, 分布外分解能と観測情報再構成タスクとの同化を直接処理できる。
  論文  参考訳（メタデータ） (2024-06-03T12:24:24Z)
• Elastic Information Bottleneck [34.90040361806197]
  情報ボトルネックは表現学習における情報理論の原則である。 IB正則化器とDIB正則化器の間を補間する弾性情報ボトルネック(EIB)を提案する。 シミュレーションと実データ実験により、IB は IB や DIB よりも優れたドメイン適応結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-07T12:53:55Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• Information Theoretic Lower Bounds for Information Theoretic Upper Bounds [14.268363583731848]
  コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。 本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。 既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
  論文  参考訳（メタデータ） (2023-02-09T20:42:36Z)
• Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition [54.23513799338309]
  骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。 我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
  論文  参考訳（メタデータ） (2022-09-21T02:33:07Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Learning Unbiased Representations via Mutual Information Backpropagation [36.383338079229695]
  特に、モデルによって学習された場合、データのいくつかの属性(バイアス)が一般化特性を著しく損なう可能性がある場合に直面します。 本稿では,学習した表現とデータ属性の相互情報を同時に推定し,最小化する,新しいエンドツーエンド最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-03-13T18:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。