論文の概要: Learning to Compress: Local Rank and Information Compression in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2410.07687v1
• Date: Thu, 10 Oct 2024 07:53:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 15:36:27.047860
• Title: Learning to Compress: Local Rank and Information Compression in Deep Neural Networks
• Title（参考訳）: 圧縮学習:ディープニューラルネットワークにおける局所ランクと情報圧縮
• Authors: Niket Patel, Ravid Shwartz-Ziv,
• Abstract要約: ディープニューラルネットワークは、トレーニング中に低次元の特徴表現を暗黙的に学習する、低ランクなソリューションに対するバイアスを示す傾向がある。 特徴多様体次元の尺度として局所階乗の概念を導入し、この階乗が訓練の最終段階の間に減少することを示す。 学習した表現のランクを下げるネットワークは、入力層と中間層の間の相互情報を圧縮する。
• 参考スコア（独自算出の注目度）: 2.483371671716944
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep neural networks tend to exhibit a bias toward low-rank solutions during training, implicitly learning low-dimensional feature representations. This paper investigates how deep multilayer perceptrons (MLPs) encode these feature manifolds and connects this behavior to the Information Bottleneck (IB) theory. We introduce the concept of local rank as a measure of feature manifold dimensionality and demonstrate, both theoretically and empirically, that this rank decreases during the final phase of training. We argue that networks that reduce the rank of their learned representations also compress mutual information between inputs and intermediate layers. This work bridges the gap between feature manifold rank and information compression, offering new insights into the interplay between information bottlenecks and representation learning.
• Abstract（参考訳）: ディープニューラルネットワークは、トレーニング中に低次元の特徴表現を暗黙的に学習する、低ランクなソリューションに対するバイアスを示す傾向がある。 本稿では,これらの特徴多様体を多層パーセプトロン (MLP) でエンコードし,その挙動をインフォメーション・ボトルネック (IB) 理論に結びつける方法について検討する。 特徴多様体次元の尺度として局所階乗の概念を導入し、理論上も経験的にも、この階乗は訓練の最終段階の間に減少することを示した。 学習した表現のランクを下げるネットワークは、入力層と中間層の間の相互情報を圧縮する。 この研究は特徴多様体のランクと情報圧縮のギャップを埋め、情報ボトルネックと表現学習の間の相互作用に関する新たな洞察を提供する。

関連論文リスト

• Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
  深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。 これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
  論文  参考訳（メタデータ） (2023-11-06T09:00:38Z)
• Dynamic Encoding and Decoding of Information for Split Learning in Mobile-Edge Computing: Leveraging Information Bottleneck Theory [1.1151919978983582]
  Split Learning(スプリットラーニング)は、MLモデルを2つの部分(エンコーダとデコーダ)に分割する、プライバシ保護の分散学習パラダイムである。 モバイルエッジコンピューティングでは、エンコーダがユーザ機器(UE)に、デコーダがエッジネットワークに、分割学習によってネットワーク機能を訓練することができる。 本稿では,送信リソース消費の動的バランスと,共有潜在表現の情報化を両立させるためのフレームワークとトレーニング機構を提案する。
  論文  参考訳（メタデータ） (2023-09-06T07:04:37Z)
• Centered Self-Attention Layers [89.21791761168032]
  変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。 我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。 これらの機構の集約演算子に補正項を提示する。
  論文  参考訳（メタデータ） (2023-06-02T15:19:08Z)
• The Tunnel Effect: Building Data Representations in Deep Neural Networks [32.46906832880099]
  本稿では,データ表現の相違に寄与する2つの異なる部分に,十分に深いネットワークが分割されていることを示す。 最初のレイヤは線形に分離可能な表現を生成し、その後のレイヤはこれらの表現を圧縮し、全体的なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2023-05-31T11:38:24Z)
• Variation Spaces for Multi-Output Neural Networks: Insights on Multi-Task Learning and Network Compression [28.851519959657466]
  本稿では,ベクトル値ニューラルネットワークの解析のための新しい理論的枠組みを提案する。 この研究の重要な貢献は、ベクトル値変動空間に対する表現定理の開発である。 これらのベクトル値変動空間に関連するノルムは、複数のタスクに有用な特徴の学習を促進する。
  論文  参考訳（メタデータ） (2023-05-25T23:32:10Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Decomposing neural networks as mappings of correlation functions [57.52754806616669]
  本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
  論文  参考訳（メタデータ） (2022-02-10T09:30:31Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning [79.89085533866071]
  本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。 DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。 大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
  論文  参考訳（メタデータ） (2021-02-05T11:31:24Z)
• What Information Does a ResNet Compress? [0.0]
  情報ボトルネックの原理がResNetモデルを用いて現実的な設定に適用できるかどうかを検証する。 学習の2つの段階は、両方の訓練体制で起こり、圧縮はオートエンコーダでも起こります。
  論文  参考訳（メタデータ） (2020-03-13T13:02:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。