論文の概要: Geometric and Information Compression of Representations in Deep Learning

• arxiv url: http://arxiv.org/abs/2606.21593v1
• Date: Fri, 19 Jun 2026 16:49:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 06:49:24.919558
• Title: Geometric and Information Compression of Representations in Deep Learning
• Title（参考訳）: 深層学習における表現の幾何学的・情報圧縮
• Authors: Linara Adilova, Henning Petzka, Asja Fischer, Bernhard C. Geiger,
• Abstract要約: ディープニューラルネットワークは、入力データを幅広い下流タスクをサポートする潜在表現に変換する。 中心的なオープンな問題は、入力と表現の間の低相互情報(MI)が必然的に幾何学的に圧縮された潜在空間を意味するかどうかである。 幾何学的圧縮と理論的MI推定の尺度として,クラスワイズクラスタリングを用いてこの問題を考察する。
• 参考スコア（独自算出の注目度）: 17.830589700881507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks transform input data into latent representations that support a wide range of downstream tasks. These representations can be characterized along information-theoretic and geometric dimensions, but their relationship remains poorly understood. A central open question is whether low mutual information (MI) between inputs and representations necessarily implies geometrically compressed latent spaces and vice versa. We investigate this question using class-wise clustering as a measure of geometric compression and theoretically sound MI estimation in conditional entropy bottleneck (CEB) networks and continuous dropout networks. We evaluate the interplay between MI, geometric compression, and generalization on classification tasks under controlled noise injection schemes. Our findings show that low MI does not reliably correspond to geometric compression, and that the connection between the two is more nuanced than often assumed. Indeed, our experiments reveal a negative and nonlinear relationship that can reverse when varying training setup. Our results put forward a hypothesis that generalization acts as a potential confounder in this connection rather than being their direct consequence.
• Abstract（参考訳）: ディープニューラルネットワークは、入力データを幅広い下流タスクをサポートする潜在表現に変換する。 これらの表現は情報理論と幾何学的次元に沿って特徴づけられるが、それらの関係はいまだに理解されていない。 中心的なオープンな問題は、入力と表現の間の低相互情報(MI)が必然的に幾何学的に圧縮された潜在空間を意味するかどうかであり、その逆である。 本研究では,条件付きエントロピーボトルネック(CEB)ネットワークと連続ドロップアウトネットワークにおける幾何学的圧縮と理論的MI推定の尺度として,クラスワイドクラスタリングを用いてこの問題を考察する。 制御ノイズインジェクション方式におけるMI,幾何圧縮,および分類タスクの一般化の相互作用を評価する。 以上の結果から,低MIは幾何圧縮に確実に対応せず,両者の接続は推定されるよりもニュアンスが高いことが示唆された。 実際、我々の実験では、トレーニングの設定が変わると逆になる負の関係と非線形の関係が明らかになっている。 我々の結果は、一般化は直接的な結果ではなく、この関係における潜在的な共同創設者として振る舞うという仮説を提唱した。

関連論文リスト

• Information Plane Analysis of Binary Neural Networks [6.259398755176288]
  我々は、アクティベーションが離散的でMIが有限なバイナリニューラルネットワーク(BNN)のIP分析を行う。 我々は、後期圧縮相の存在と圧縮表現と一般化性能の関係を調査するためにBNNを訓練する。
  論文  参考訳（メタデータ） (2026-05-05T11:08:18Z)
• Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
  安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。 低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。 文献に現れる異種の経験的所見を総合的に検討した。
  論文  参考訳（メタデータ） (2025-10-20T21:40:36Z)
• Compression Hacking: A Supplementary Perspective on Informatics Properties of Language Models from Geometric Distortion [56.12939353271623]
  幾何学的観点から、高度に圧縮されたLMのワード表現空間は、非常に異方性のある状態に縮退する傾向がある。 この同期性は基本的にLM表現におけるCompression Hacking''である。 幾何学的歪み解析を取り入れ, 自己評価パイプラインに統合することにより, 高精度な3つの圧縮指標を提案する。
  論文  参考訳（メタデータ） (2025-05-23T12:11:03Z)
• Learning to Compress: Local Rank and Information Compression in Deep Neural Networks [2.483371671716944]
  ディープニューラルネットワークは、トレーニング中に低次元の特徴表現を暗黙的に学習する、低ランクなソリューションに対するバイアスを示す傾向がある。 特徴多様体次元の尺度として局所階乗の概念を導入し、この階乗が訓練の最終段階の間に減少することを示す。 学習した表現のランクを下げるネットワークは、入力層と中間層の間の相互情報を圧縮する。
  論文  参考訳（メタデータ） (2024-10-10T07:53:34Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• A Geometrical Approach to Evaluate the Adversarial Robustness of Deep Neural Networks [52.09243852066406]
  対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。 我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
  論文  参考訳（メタデータ） (2023-10-10T09:39:38Z)
• Understanding the Effect of the Long Tail on Neural Network Compression [9.819486253052528]
  We study the "long tail" phenomenon in computer vision datasets observed by Feldman, et al。 圧縮によってネットワークの容量が制限される(したがって記憶する能力も制限される)ため、我々は問題を研究する: 記憶されたトレーニングデータと相関するフルモデルと圧縮モデルの間にミスマッチがあるか?
  論文  参考訳（メタデータ） (2023-06-09T20:18:05Z)
• Information Bottleneck Analysis of Deep Neural Networks via Lossy Compression [37.69303106863453]
  Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。 本稿では,一般NNのICB解析を行うためのフレームワークを提案する。 また,MI力学の新たな特徴を明らかにするため,実規模に近いISB解析を行う。
  論文  参考訳（メタデータ） (2023-05-13T21:44:32Z)
• Information Bottleneck: Exact Analysis of (Quantized) Neural Networks [16.199954215341833]
  深いニューラルネットワークを分析する手段として、情報ボトルネック(IB)の原則が提案されている。 トレーニング中に異なるフィッティングと圧縮フェーズが報告されている。 本研究は,MI 計算において,初期 IB は binning のアーティファクトではないことを示す。
  論文  参考訳（メタデータ） (2021-06-24T11:13:08Z)
• MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
  本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。 MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。 このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
  論文  参考訳（メタデータ） (2020-06-30T15:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。