論文の概要: A Generalized Information Bottleneck Theory of Deep Learning

• arxiv url: http://arxiv.org/abs/2509.26327v1
• Date: Tue, 30 Sep 2025 14:38:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.578085
• Title: A Generalized Information Bottleneck Theory of Deep Learning
• Title（参考訳）: 深層学習の一般化情報ボトルネック理論
• Authors: Charles Westphal, Stephen Hailes, Mirco Musolesi,
• Abstract要約: Information Bottleneck(IB)原則は、ニューラルネットワーク(NN)がどのように学習するかを理解するための説得力のある理論的フレームワークを提供する。 我々は、シナジーのレンズを通して、元のIB原理を再構築する枠組みを提案する。
• 参考スコア（独自算出の注目度）: 10.454976783057086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Information Bottleneck (IB) principle offers a compelling theoretical framework to understand how neural networks (NNs) learn. However, its practical utility has been constrained by unresolved theoretical ambiguities and significant challenges in accurate estimation. In this paper, we present a \textit{Generalized Information Bottleneck (GIB)} framework that reformulates the original IB principle through the lens of synergy, i.e., the information obtainable only through joint processing of features. We provide theoretical and empirical evidence demonstrating that synergistic functions achieve superior generalization compared to their non-synergistic counterparts. Building on these foundations we re-formulate the IB using a computable definition of synergy based on the average interaction information (II) of each feature with those remaining. We demonstrate that the original IB objective is upper bounded by our GIB in the case of perfect estimation, ensuring compatibility with existing IB theory while addressing its limitations. Our experimental results demonstrate that GIB consistently exhibits compression phases across a wide range of architectures (including those with \textit{ReLU} activations where the standard IB fails), while yielding interpretable dynamics in both CNNs and Transformers and aligning more closely with our understanding of adversarial robustness.
• Abstract（参考訳）: Information Bottleneck(IB)原則は、ニューラルネットワーク(NN)がどのように学習するかを理解するための説得力のある理論的フレームワークを提供する。 しかし、その実用性は未解決の理論的曖昧さと正確な推定における重要な課題によって制約されている。 本稿では,従来のISBの原理をシナジーのレンズを通じて再構成する,GIB(textit{Generalized Information Bottleneck)フレームワークを提案する。 我々は、相乗的関数が非相乗的関数よりも優れた一般化を達成することを示す理論的および経験的な証拠を提供する。 これらの基礎に基づいて、各特徴と残りの特徴の平均相互作用情報(II)に基づいて、計算可能なシナジーの定義を用いてIBを再構成する。 我々は,既存のIB理論との整合性を確保しつつ,その限界に対処する上で,従来のIB目標がGIBによって上界化されることを実証する。 実験結果から,GIB は CNN と Transformer の双方で解釈可能な動的特性を実現し,対向ロバスト性に対する理解と密接な一致を図りながら,幅広いアーキテクチャ(標準 IB がフェールする \textit{ReLU} アクティベーションを含む)の圧縮位相を連続的に示すことを示した。

関連論文リスト

• Understanding the Information Propagation Effects of Communication Topologies in LLM-based Multi-Agent Systems [58.95962217043371]
  提案手法は, エージェントの出力の正確さ, 誤動作の有無を, 異なる範囲の位相の下で伝達する因果関係を解析するための枠組みである。 実験により,有益な情報拡散を保ちながらエラーの伝播を効果的に抑制する,適度に疎らなトポロジが,通常最適なタスク性能を達成できることが判明した。 本稿では,高密度グラフとスパースグラフの両方から接続パターンを融合させることにより,エラー抑制と有益な情報伝達のバランスをとる新しいトポロジ設計手法 EIB-leanrner を提案する。
  論文  参考訳（メタデータ） (2025-05-29T11:21:48Z)
• Structured IB: Improving Information Bottleneck with Structured Feature Learning [32.774660308233635]
  我々は、潜在的に構造化された機能を調べるためのフレームワークであるStructured IBを紹介した。 IBラグランジアン法と比較し,予測精度とタスク関連情報を比較検討した。
  論文  参考訳（メタデータ） (2024-12-11T09:17:45Z)
• Elastic Information Bottleneck [34.90040361806197]
  情報ボトルネックは表現学習における情報理論の原則である。 IB正則化器とDIB正則化器の間を補間する弾性情報ボトルネック(EIB)を提案する。 シミュレーションと実データ実験により、IB は IB や DIB よりも優れたドメイン適応結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-07T12:53:55Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• Networked Communication for Decentralised Agents in Mean-Field Games [59.01527054553122]
  平均フィールドゲームフレームワークにネットワーク通信を導入する。 当社のアーキテクチャは、中央集権型と独立した学習ケースの双方で保証されていることを証明しています。 ネットワーク化されたアプローチは、障害の更新や人口規模の変化に対する堅牢性という点において、両方の選択肢に対して大きなメリットがあることが示されています。
  論文  参考訳（メタデータ） (2023-06-05T10:45:39Z)
• Recognizable Information Bottleneck [31.993478081354958]
  Information Bottlenecks (IB)は、情報圧縮によって見えないデータに一般化する表現を学習する。 IBは、空の一般化境界のため、現実のシナリオにおける一般化を保証できない。 本稿では、認識可能性批判を通じて表現の認識性を規則化する認識可能情報ボトルネック(RIB)を提案する。
  論文  参考訳（メタデータ） (2023-04-28T03:55:33Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• The Dual Information Bottleneck [1.6559345531428509]
  Information Bottleneck (IB) フレームワークは、精度と複雑さのバランスをとるための原則化されたアプローチを用いて得られる最適な表現の一般的な特徴付けである。 IBの欠点を解消する新しいフレームワークであるDual Information Bottleneck(DualIB)を提案する。
  論文  参考訳（メタデータ） (2020-06-08T14:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。