論文の概要: Unveiling the Dynamics of Information Interplay in Supervised Learning
- arxiv url: http://arxiv.org/abs/2406.03999v1
- Date: Thu, 6 Jun 2024 12:17:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 15:10:00.860398
- Title: Unveiling the Dynamics of Information Interplay in Supervised Learning
- Title（参考訳）: 教師付き学習における情報対話のダイナミクスの解明
- Authors: Kun Song, Zhiquan Tan, Bochao Zou, Huimin Ma, Weiran Huang,
- Abstract要約: 本研究では,行列情報理論を解析ツールとして用いて,教師付き学習プロセスにおけるデータ表現と分類ヘッドベクトル間の情報相互作用のダイナミクスを解析する。
実験の結果,MIRとHDRはニューラルネットワークで発生する多くの現象を効果的に説明できることがわかった。
教師付きおよび半教師付き学習において,MIRとHDRの損失項を導入し,サンプルと分類ヘッド間の情報相互作用を最適化する。
- 参考スコア（独自算出の注目度）: 10.122733373023074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we use matrix information theory as an analytical tool to analyze the dynamics of the information interplay between data representations and classification head vectors in the supervised learning process. Specifically, inspired by the theory of Neural Collapse, we introduce matrix mutual information ratio (MIR) and matrix entropy difference ratio (HDR) to assess the interactions of data representation and class classification heads in supervised learning, and we determine the theoretical optimal values for MIR and HDR when Neural Collapse happens. Our experiments show that MIR and HDR can effectively explain many phenomena occurring in neural networks, for example, the standard supervised training dynamics, linear mode connectivity, and the performance of label smoothing and pruning. Additionally, we use MIR and HDR to gain insights into the dynamics of grokking, which is an intriguing phenomenon observed in supervised training, where the model demonstrates generalization capabilities long after it has learned to fit the training data. Furthermore, we introduce MIR and HDR as loss terms in supervised and semi-supervised learning to optimize the information interactions among samples and classification heads. The empirical results provide evidence of the method's effectiveness, demonstrating that the utilization of MIR and HDR not only aids in comprehending the dynamics throughout the training process but can also enhances the training procedure itself.
- Abstract（参考訳）: 本稿では,行列情報理論を解析ツールとして用いて,教師付き学習過程におけるデータ表現と分類ヘッドベクトル間の情報相互作用のダイナミクスを解析する。
具体的には,ニューラルネットワーク学習におけるデータ表現とクラス分類ヘッドの相互作用を評価するために,行列相互情報比 (MIR) と行列エントロピー差率 (HDR) を導入する。
我々の実験は、MIRとHDRがニューラルネットワークで発生する多くの現象を効果的に説明できることを示し、例えば、標準教師付きトレーニングダイナミクス、線形モード接続、ラベルの平滑化とプルーニングの性能などである。
さらに,MIR と HDR を用いてグルーキングのダイナミクスの洞察を得る。これは教師付きトレーニングで観察される興味深い現象であり,トレーニングデータに適合する学習から長い後,モデルが一般化能力を示す。
さらに、教師付きおよび半教師付き学習における損失項として、MIRとHDRを導入し、サンプルと分類ヘッド間の情報相互作用を最適化する。
実験結果から,MIRとHDRの利用がトレーニングプロセス全体を通して力学の理解に有効であるだけでなく,トレーニング手順自体の強化も可能であることが示唆された。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - Exploring Information-Theoretic Metrics Associated with Neural Collapse in Supervised Training [14.9343236333741]
本研究では,行列エントロピーや相互情報といった情報理論のメトリクスを用いて教師あり学習の分析を行う。
行列エントロピーは,データ表現の情報内容と分類頭部重みの相互作用のみを記述できないが,データの類似性とクラスタリングの挙動を効果的に反映できることを示す。
論文 参考訳（メタデータ） (2024-09-25T09:26:06Z) - Dynamics of Supervised and Reinforcement Learning in the Non-Linear Perceptron [3.069335774032178]
学習を記述するフロー方程式を導出するために,データセット処理アプローチを用いる。
学習ルール(教師付きまたは強化学習,SL/RL)と入力データ分布が知覚者の学習曲線に及ぼす影響を特徴付ける。
このアプローチは、より複雑な回路アーキテクチャの学習力学を解析する方法を示している。
論文 参考訳（メタデータ） (2024-09-05T17:58:28Z) - DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。
これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。
本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-19T23:35:06Z) - Joint-Embedding Masked Autoencoder for Self-supervised Learning of
Dynamic Functional Connectivity from the Human Brain [18.165807360855435]
グラフニューラルネットワーク(GNN)は、人間の脳ネットワークと表現型を区別するための動的機能接続の学習において、有望であることを示している。
本稿では,計算機ビジョンにおけるJEPA(Joint Embedding Predictive Architecture)からインスピレーションを得た,時空間連成型自動エンコーダ(ST-JEMA)について紹介する。
論文 参考訳（メタデータ） (2024-03-11T04:49:41Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - DynDepNet: Learning Time-Varying Dependency Structures from fMRI Data
via Dynamic Graph Structure Learning [58.94034282469377]
下流予測タスクによって誘導されるfMRIデータの最適時間変化依存性構造を学習する新しい手法であるDynDepNetを提案する。
実世界のfMRIデータセットの実験は、性別分類のタスクにおいて、DynDepNetが最先端の結果を達成することを実証している。
論文 参考訳（メタデータ） (2022-09-27T16:32:11Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
論文 参考訳（メタデータ） (2021-11-01T15:44:49Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。