論文の概要: To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review

• arxiv url: http://arxiv.org/abs/2304.09355v5
• Date: Tue, 21 Nov 2023 13:12:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 05:29:02.609196
• Title: To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review
• Title（参考訳）: 自己指導型学習と情報理論を圧縮するか否か : レビュー
• Authors: Ravid Shwartz-Ziv and Yann LeCun
• Abstract要約: ディープニューラルネットワークは教師付き学習タスクに優れるが、広範なラベル付きデータの必要性によって制約される。 自己組織化学習は有望な代替手段として登場し、明確なラベルなしでモデルを学習できる。 情報理論、特に情報ボトルネックの原則は、ディープニューラルネットワークの形成において重要な役割を担っている。
• 参考スコア（独自算出の注目度）: 30.87092042943743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks excel in supervised learning tasks but are constrained by the need for extensive labeled data. Self-supervised learning emerges as a promising alternative, allowing models to learn without explicit labels. Information theory, and notably the information bottleneck principle, has been pivotal in shaping deep neural networks. This principle focuses on optimizing the trade-off between compression and preserving relevant information, providing a foundation for efficient network design in supervised contexts. However, its precise role and adaptation in self-supervised learning remain unclear. In this work, we scrutinize various self-supervised learning approaches from an information-theoretic perspective, introducing a unified framework that encapsulates the \textit{self-supervised information-theoretic learning problem}. We weave together existing research into a cohesive narrative, delve into contemporary self-supervised methodologies, and spotlight potential research avenues and inherent challenges. Additionally, we discuss the empirical evaluation of information-theoretic quantities and their estimation methods. Overall, this paper furnishes an exhaustive review of the intersection of information theory, self-supervised learning, and deep neural networks.
• Abstract（参考訳）: ディープニューラルネットワークは教師付き学習タスクに優れるが、広範なラベル付きデータの必要性によって制約される。 自己組織化学習は有望な代替手段として現れ、明確なラベルなしでモデルを学習できる。 情報理論、特に情報ボトルネックの原則は、ディープニューラルネットワークを形成する上で重要である。 この原則は、圧縮と関連する情報の保存の間のトレードオフの最適化に焦点を当て、監督されたコンテキストにおける効率的なネットワーク設計の基礎を提供する。 しかし、自己指導学習におけるその正確な役割と適応性は未だ不明である。 本研究では,情報理論の観点から様々な自己指導型学習手法を精査し,情報理論的学習問題をカプセル化する統一的な枠組みを導入する。 我々は,結束物語,現代自己管理方法論,スポットライト研究の道と固有の課題について,既存の研究をまとめる。 さらに,情報理論量の経験的評価とその推定方法について考察する。 全体としては,情報理論,自己教師付き学習,ディープニューラルネットワークの交点を徹底的に検討する。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Enhancing Neural Network Interpretability Through Conductance-Based Information Plane Analysis [0.0]
  インフォメーションプレーン(Information Plane)は、ニューラルネットワーク内の情報の流れを分析するための概念的フレームワークである。 本稿では,入力特徴に対する感度尺度であるレイヤコンダクタンスを用いて情報平面解析を強化する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-26T23:10:42Z)
• Advancing Deep Active Learning & Data Subset Selection: Unifying Principles with Information-Theory Intuitions [3.0539022029583953]
  本論文は,ディープラーニングモデルのラベルとトレーニング効率を向上させることにより,ディープラーニングの実践性を高めることを目的とする。 本稿では,情報理論の原理に基づくデータサブセット選択手法,特にアクティブラーニングとアクティブサンプリングについて検討する。
  論文  参考訳（メタデータ） (2024-01-09T01:41:36Z)
• An effective theory of collective deep learning [1.3812010983144802]
  我々は、近年の分散化アルゴリズムを凝縮する最小限のモデルを導入する。 線形ネットワークの有効理論を導出し、我々のシステムの粗粒度挙動が変形したギンズバーグ・ランダウモデルと等価であることを示す。 MNISTデータセットで訓練された現実的なニューラルネットワークの結合アンサンブルで理論を検証した。
  論文  参考訳（メタデータ） (2023-10-19T14:58:20Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
  本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-07-21T12:01:03Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
  自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。 我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
  論文  参考訳（メタデータ） (2020-06-10T00:21:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。