論文の概要: Elastic Information Bottleneck

• arxiv url: http://arxiv.org/abs/2311.03955v1
• Date: Tue, 7 Nov 2023 12:53:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 15:34:52.134496
• Title: Elastic Information Bottleneck
• Title（参考訳）: 弾性情報ボトルネック
• Authors: Yuyan Ni, Yanyan Lan, Ao Liu, Zhiming Ma
• Abstract要約: 情報ボトルネックは表現学習における情報理論の原則である。 IB正則化器とDIB正則化器の間を補間する弾性情報ボトルネック(EIB)を提案する。 シミュレーションと実データ実験により、IB は IB や DIB よりも優れたドメイン適応結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 34.90040361806197
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Information bottleneck is an information-theoretic principle of representation learning that aims to learn a maximally compressed representation that preserves as much information about labels as possible. Under this principle, two different methods have been proposed, i.e., information bottleneck (IB) and deterministic information bottleneck (DIB), and have gained significant progress in explaining the representation mechanisms of deep learning algorithms. However, these theoretical and empirical successes are only valid with the assumption that training and test data are drawn from the same distribution, which is clearly not satisfied in many real-world applications. In this paper, we study their generalization abilities within a transfer learning scenario, where the target error could be decomposed into three components, i.e., source empirical error, source generalization gap (SG), and representation discrepancy (RD). Comparing IB and DIB on these terms, we prove that DIB's SG bound is tighter than IB's while DIB's RD is larger than IB's. Therefore, it is difficult to tell which one is better. To balance the trade-off between SG and the RD, we propose an elastic information bottleneck (EIB) to interpolate between the IB and DIB regularizers, which guarantees a Pareto frontier within the IB framework. Additionally, simulations and real data experiments show that EIB has the ability to achieve better domain adaptation results than IB and DIB, which validates the correctness of our theories.
• Abstract（参考訳）: 情報ボトルネック(Information bottleneck)は、ラベルに関する情報をできるだけ多く保存する最大圧縮表現を学習することを目的とした、表現学習の情報理論の原則である。 この原理の下では、情報ボトルネック(IB)と決定論的情報ボトルネック(DIB)という2つの異なる手法が提案されており、ディープラーニングアルゴリズムの表現機構を説明する上で大きな進歩を遂げている。 しかし、これらの理論的および経験的成功は、トレーニングデータとテストデータが同じ分布から引き出されるという仮定でのみ有効であり、多くの実世界のアプリケーションでは明らかに満足できない。 本稿では,移動学習シナリオにおけるそれらの一般化能力について検討し,ターゲット誤差を3つのコンポーネント,すなわちソース経験誤差,ソース一般化ギャップ(SG),表現の不一致(RD)に分解する。 IB と DIB を比較すると、DIB の SG 境界は IB よりも強く、DIB の RD は IB よりも大きいことを示す。 したがって、どちらがよいかを知ることは困難である。 SGとRDのトレードオフのバランスをとるために、IBとDIBの正規化器を補間する弾性情報ボトルネック(EIB)を提案し、IBフレームワーク内のParetoフロンティアを保証する。 さらにシミュレーションや実データ実験により、eibはibやdibよりもドメイン適応性が向上し、理論の正しさが検証できることを示した。

関連論文リスト

• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• Combating Bilateral Edge Noise for Robust Link Prediction [56.43882298843564]
  本稿では,RGIB(Robust Graph Information Bottleneck)という情報理論の原則を提案し,信頼性の高い監視信号を抽出し,表現の崩壊を回避する。 RGIB-SSLとRGIB-REPの2つのインスタンス化は、異なる手法の利点を活用するために検討されている。 6つのデータセットと3つのGNNの様々なノイズシナリオによる実験は、我々のRGIBインスタンスの有効性を検証する。
  論文  参考訳（メタデータ） (2023-11-02T12:47:49Z)
• Joint Learning of Label and Environment Causal Independence for Graph Out-of-Distribution Generalization [60.4169201192582]
  本稿では,ラベルと環境情報を完全に活用するために,ラベルと環境の因果独立(LECI)を導入することを提案する。 LECIは、合成データセットと実世界のデータセットの両方において、従来の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2023-06-01T19:33:30Z)
• Recognizable Information Bottleneck [31.993478081354958]
  Information Bottlenecks (IB)は、情報圧縮によって見えないデータに一般化する表現を学習する。 IBは、空の一般化境界のため、現実のシナリオにおける一般化を保証できない。 本稿では、認識可能性批判を通じて表現の認識性を規則化する認識可能情報ボトルネック(RIB)を提案する。
  論文  参考訳（メタデータ） (2023-04-28T03:55:33Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)
• Perturbation Theory for the Information Bottleneck [6.117084972237769]
  情報ボトルネック (IB) は、データから関連情報を抽出する手法である。 IB問題の非線形性は、一般に計算コストが高く解析的に難解である。 IB法に対する摂動理論を導出し,学習開始の完全な特徴を報告した。
  論文  参考訳（メタデータ） (2021-05-28T16:59:01Z)
• Farewell to Mutual Information: Variational Distillation for Cross-Modal Person Re-Identification [41.02729491273057]
  Information Bottleneck (IB)は、表現学習のための情報理論の原則を提供する。 我々は、スケーラブルで柔軟で分析的なソリューションを提供する新しい戦略、可変自己蒸留(VSD)を提示します。 また、Variational Cross-Distillation (VCD) と Variational Mutual-Learning (VML) の2つの戦略を紹介します。
  論文  参考訳（メタデータ） (2021-04-07T02:19:41Z)
• The Dual Information Bottleneck [1.6559345531428509]
  Information Bottleneck (IB) フレームワークは、精度と複雑さのバランスをとるための原則化されたアプローチを用いて得られる最適な表現の一般的な特徴付けである。 IBの欠点を解消する新しいフレームワークであるDual Information Bottleneck(DualIB)を提案する。
  論文  参考訳（メタデータ） (2020-06-08T14:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。