論文の概要: Justices for Information Bottleneck Theory
- arxiv url: http://arxiv.org/abs/2305.11387v1
- Date: Fri, 19 May 2023 02:07:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 16:42:35.483068
- Title: Justices for Information Bottleneck Theory
- Title（参考訳）: 情報ボトルネック理論の司法
- Authors: Faxian Cao, Yongqiang Cheng, Adil Mehmood Khan, Zhijing Yang
- Abstract要約: この研究は、情報ボトルネック(IB)理論に対する批判の高まりに対するタイムリーな反応である。
IB理論の特殊かつ局所的な最適事例として,最大符号化率低減法を再解釈する補助関数を導入する。
- 参考スコア（独自算出の注目度）: 2.5901772989551293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study comes as a timely response to mounting criticism of the
information bottleneck (IB) theory, injecting fresh perspectives to rectify
misconceptions and reaffirm its validity. Firstly, we introduce an auxiliary
function to reinterpret the maximal coding rate reduction method as a special
yet local optimal case of IB theory. Through this auxiliary function, we
clarify the paradox of decreasing mutual information during the application of
ReLU activation in deep learning (DL) networks. Secondly, we challenge the
doubts about IB theory's applicability by demonstrating its capacity to explain
the absence of a compression phase with linear activation functions in hidden
layers, when viewed through the lens of the auxiliary function. Lastly, by
taking a novel theoretical stance, we provide a new way to interpret the inner
organizations of DL networks by using IB theory, aligning them with recent
experimental evidence. Thus, this paper serves as an act of justice for IB
theory, potentially reinvigorating its standing and application in DL and other
fields such as communications and biomedical research.
- Abstract（参考訳）: この研究は、情報ボトルネック(IB)理論に対する批判の高まりに対するタイムリーな反応であり、誤解を是正し、その妥当性を再確認するために新しい視点を注入する。
まず, ib理論の特殊かつ局所的な最適場合として, 最大符号化率低減法を再解釈する補助関数を導入する。
この補助的機能を通じて,深層学習(DL)ネットワークにおけるReLUアクティベーション適用時の相互情報の減少のパラドックスを明らかにする。
第二に、補助関数のレンズを通して見た場合、隠れた層に線形活性化関数を持つ圧縮位相が存在しないことを説明する能力を示すことにより、ib理論の適用性に疑問を呈する。
最後に、新しい理論的なスタンスを採り、IB理論を用いてDLネットワークの内部組織を解釈し、最近の実験的証拠と整合させる新しい方法を提案する。
そこで本論文は,IDB理論の正義の行為として機能し,その立位とDLおよびコミュニケーションや生物医学研究などの分野への応用を活性化する可能性がある。
関連論文リスト
- Class-wise Activation Unravelling the Engima of Deep Double Descent [0.0]
二重降下は、機械学習領域内の反直観的な側面を示す。
本研究では,二重降下現象を再考し,その発生状況について考察した。
論文 参考訳（メタデータ） (2024-05-13T12:07:48Z) - Understanding Oversmoothing in Diffusion-Based GNNs From the Perspective
of Operator Semigroup Theory [12.946113359807551]
本稿では拡散型グラフニューラルネット(GNN)における過剰な問題に関する新しい研究について述べる。
過平滑化が拡散作用素のエルゴード性に本質的に関連していることを厳密に証明する。
実験結果から,このエルゴード性破壊項はディリクレエネルギーによって測定された過密化を効果的に緩和することが明らかとなった。
論文 参考訳（メタデータ） (2024-02-23T13:44:57Z) - A Sampling Theory Perspective on Activations for Implicit Neural
Representations [73.6637608397055]
Inlicit Neural Representations (INR) は、コンパクトで微分可能なエンティティとして信号の符号化で人気を博している。
サンプリング理論の観点からこれらの活性化を包括的に分析する。
本研究により,INRと併用されていないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。
論文 参考訳（メタデータ） (2024-02-08T05:52:45Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳（メタデータ） (2023-11-03T03:18:40Z) - Understanding Self-Supervised Learning of Speech Representation via
Invariance and Redundancy Reduction [0.45060992929802207]
自己教師付き学習(SSL)は、ラベルのないデータから柔軟な音声表現を学習するための有望なパラダイムとして登場した。
本研究は,人間の知覚における冗長性低下の理論に触発されたSSL技術であるBarlow Twins(BT)を実証分析した。
論文 参考訳（メタデータ） (2023-09-07T10:23:59Z) - Layer-wise Feedback Propagation [53.00944147633484]
本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。
各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - Learning with augmented target information: An alternative theory of
Feedback Alignment [0.0]
本稿では,フィードバックアライメント(FA)が情報理論のレンズを通してどのように機能するか,という新しい理論を提案する。
FAは、トレーニング対象のニューラルネットワークにターゲット情報を埋め込むことで、効果的な表現を学ぶ。
理想的な設定におけるFAダイナミクスの分析と、一連の実験を通してこれを示す。
論文 参考訳（メタデータ） (2023-04-03T22:44:03Z) - Task-Free Continual Learning via Online Discrepancy Distance Learning [11.540150938141034]
本稿では,来訪したサンプルとモデルトレーニングに利用可能な情報全体との差分距離に基づく一般化境界を提供する,新しい理論解析フレームワークを開発する。
この理論モデルに着想を得て,混合モデルに対する動的成分展開機構,すなわちオンライン離散距離学習(ODDL)によって実現された新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-10-12T20:44:09Z) - Which Mutual-Information Representation Learning Objectives are
Sufficient for Control? [80.2534918595143]
相互情報は、データの表現を学習するために魅力的な形式を提供する。
本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。
意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
論文 参考訳（メタデータ） (2021-06-14T10:12:34Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳（メタデータ） (2020-06-30T14:46:08Z) - A Theoretical Framework for Target Propagation [75.52598682467817]
我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。
提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。
我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
論文 参考訳（メタデータ） (2020-06-25T12:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。