論文の概要: To Compress or Not to Compress -- Self-Supervised Learning and
Information Theory: A Review
- arxiv url: http://arxiv.org/abs/2304.09355v1
- Date: Wed, 19 Apr 2023 00:33:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 15:57:37.292516
- Title: To Compress or Not to Compress -- Self-Supervised Learning and
Information Theory: A Review
- Title（参考訳）: 圧縮または圧縮しない -- 自己教師付き学習と情報理論:レビュー
- Authors: Ravid Shwartz-Ziv and Yann LeCun
- Abstract要約: ディープニューラルネットワークは教師付き学習タスクにおいて顕著な性能を示してきたが、大量のラベル付きデータを必要とする。
自己組織化学習は代替のパラダイムを提供し、明示的なラベルなしでモデルがデータから学習できるようにする。
本稿では,情報理論,自己教師付き学習,深層ニューラルネットワークの交点を網羅的に検討する。
- 参考スコア（独自算出の注目度）: 13.963448802284415
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks have demonstrated remarkable performance in supervised
learning tasks but require large amounts of labeled data. Self-supervised
learning offers an alternative paradigm, enabling the model to learn from data
without explicit labels. Information theory has been instrumental in
understanding and optimizing deep neural networks. Specifically, the
information bottleneck principle has been applied to optimize the trade-off
between compression and relevant information preservation in supervised
settings. However, the optimal information objective in self-supervised
learning remains unclear. In this paper, we review various approaches to
self-supervised learning from an information-theoretic standpoint and present a
unified framework that formalizes the \textit{self-supervised
information-theoretic learning problem}. We integrate existing research into a
coherent framework, examine recent self-supervised methods, and identify
research opportunities and challenges. Moreover, we discuss empirical
measurement of information-theoretic quantities and their estimators. This
paper offers a comprehensive review of the intersection between information
theory, self-supervised learning, and deep neural networks.
- Abstract（参考訳）: ディープニューラルネットワークは教師付き学習タスクにおいて顕著な性能を示しているが、大量のラベル付きデータを必要とする。
自己組織化学習は代替のパラダイムを提供し、明示的なラベルなしでモデルがデータから学習できるようにする。
情報理論はディープニューラルネットワークの理解と最適化に役立っている。
具体的には、情報ボトルネック原理を適用し、教師付き設定における圧縮と関連する情報保存のトレードオフを最適化する。
しかし,自己教師付き学習における最適な情報目標はいまだ不明である。
本稿では,情報理論の観点からの自己教師型学習への様々なアプローチをレビューし,情報理論的学習問題を定式化する統一フレームワークを提案する。
既存の研究をコヒーレントなフレームワークに統合し、最近の自己監督手法を調査し、研究の機会と課題を特定します。
さらに,情報理論量とその推定器の実証測定について論じる。
本稿では,情報理論,自己教師付き学習,深層ニューラルネットワークの交点を網羅的に検討する。
関連論文リスト
- A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - Enhancing Neural Network Interpretability Through Conductance-Based Information Plane Analysis [0.0]
インフォメーションプレーン(Information Plane)は、ニューラルネットワーク内の情報の流れを分析するための概念的フレームワークである。
本稿では,入力特徴に対する感度尺度であるレイヤコンダクタンスを用いて情報平面解析を強化する手法を提案する。
論文 参考訳（メタデータ） (2024-08-26T23:10:42Z) - Advancing Deep Active Learning & Data Subset Selection: Unifying
Principles with Information-Theory Intuitions [3.0539022029583953]
本論文は,ディープラーニングモデルのラベルとトレーニング効率を向上させることにより,ディープラーニングの実践性を高めることを目的とする。
本稿では,情報理論の原理に基づくデータサブセット選択手法,特にアクティブラーニングとアクティブサンプリングについて検討する。
論文 参考訳（メタデータ） (2024-01-09T01:41:36Z) - An effective theory of collective deep learning [1.3812010983144802]
我々は、近年の分散化アルゴリズムを凝縮する最小限のモデルを導入する。
線形ネットワークの有効理論を導出し、我々のシステムの粗粒度挙動が変形したギンズバーグ・ランダウモデルと等価であることを示す。
MNISTデータセットで訓練された現実的なニューラルネットワークの結合アンサンブルで理論を検証した。
論文 参考訳（メタデータ） (2023-10-19T14:58:20Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳（メタデータ） (2022-11-14T19:53:15Z) - Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳（メタデータ） (2022-10-06T15:36:27Z) - The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。
正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。
我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文 参考訳（メタデータ） (2022-07-21T12:01:03Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳（メタデータ） (2021-07-19T13:57:13Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳（メタデータ） (2020-09-01T09:07:25Z) - Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。
我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
論文 参考訳（メタデータ） (2020-06-10T00:21:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。