論文の概要: Exploring Information-Theoretic Metrics Associated with Neural Collapse in Supervised Training

• arxiv url: http://arxiv.org/abs/2409.16767v1
• Date: Wed, 25 Sep 2024 09:26:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 04:40:43.980831
• Title: Exploring Information-Theoretic Metrics Associated with Neural Collapse in Supervised Training
• Title（参考訳）: 教師訓練における神経崩壊に伴う情報理論メトリクスの探索
• Authors: Kun Song, Zhiquan Tan, Bochao Zou, Jiansheng Chen, Huimin Ma, Weiran Huang,
• Abstract要約: 本研究では,行列エントロピーや相互情報といった情報理論のメトリクスを用いて教師あり学習の分析を行う。 行列エントロピーは,データ表現の情報内容と分類頭部重みの相互作用のみを記述できないが,データの類似性とクラスタリングの挙動を効果的に反映できることを示す。
• 参考スコア（独自算出の注目度）: 14.9343236333741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we utilize information-theoretic metrics like matrix entropy and mutual information to analyze supervised learning. We explore the information content of data representations and classification head weights and their information interplay during supervised training. Experiments show that matrix entropy cannot solely describe the interaction of the information content of data representation and classification head weights but it can effectively reflect the similarity and clustering behavior of the data. Inspired by this, we propose a cross-modal alignment loss to improve the alignment between the representations of the same class from different modalities. Moreover, in order to assess the interaction of the information content of data representation and classification head weights more accurately, we utilize new metrics like matrix mutual information ratio (MIR) and matrix information entropy difference ratio (HDR). Through theory and experiment, we show that HDR and MIR can not only effectively describe the information interplay of supervised training but also improve the performance of supervised and semi-supervised learning.
• Abstract（参考訳）: 本稿では,行列エントロピーや相互情報といった情報理論を用いて教師あり学習の分析を行う。 本稿では,データ表現と分類頭部重みの情報の内容と,教師あり訓練中の情報相互作用について検討する。 実験により、行列エントロピーは、データ表現の情報内容と分類頭部重みの相互作用だけを記述することはできないが、データの類似性とクラスタリングの挙動を効果的に反映できることが示された。 これに触発されて、異なるモダリティから同一クラスの表現間のアライメントを改善するために、クロスモーダルアライメント損失を提案する。 さらに,データ表現と分類頭部重みの相互作用をより正確に評価するために,行列相互情報比 (MIR) や行列情報エントロピー差率 (HDR) などの新しい指標を利用する。 理論と実験により,HDR と MIR は教師付き学習の情報伝達を効果的に記述できるだけでなく,教師付き学習やセミ教師付き学習の性能も向上できることを示した。

関連論文リスト

• Unveiling the Dynamics of Information Interplay in Supervised Learning [10.122733373023074]
  本研究では,行列情報理論を解析ツールとして用いて,教師付き学習プロセスにおけるデータ表現と分類ヘッドベクトル間の情報相互作用のダイナミクスを解析する。 実験の結果,MIRとHDRはニューラルネットワークで発生する多くの現象を効果的に説明できることがわかった。 教師付きおよび半教師付き学習において,MIRとHDRの損失項を導入し,サンプルと分類ヘッド間の情報相互作用を最適化する。
  論文  参考訳（メタデータ） (2024-06-06T12:17:57Z)
• An Information Theoretic Evaluation Metric For Strong Unlearning [20.143627174765985]
  情報理論にインスパイアされた新しいホワイトボックス計量であるIDI(Information difference Index)を導入する。 IDIは、これらの特徴と忘れるべきラベルの相互情報を測定することにより、中間特徴の保持情報を定量化する。 我々の実験は、IDIが様々なデータセットやアーキテクチャをまたいだアンラーニングの度合いを効果的に測定できることを実証した。
  論文  参考訳（メタデータ） (2024-05-28T06:57:01Z)
• Revisiting Self-supervised Learning of Speech Representation from a Mutual Information Perspective [68.20531518525273]
  我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。 我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。 我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
  論文  参考訳（メタデータ） (2024-01-16T21:13:22Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Information-Bottleneck-Based Behavior Representation Learning for Multi-agent Reinforcement learning [16.024781473545055]
  深層強化学習では、他のエージェントの十分かつコンパクトな情報を抽出し、アルゴリズムの効率的な収束と拡張性を達成することが重要である。 本稿では,多エージェント強化学習(IBORM)のための他のエージェントの行動表現学習を行い,低次元マッピングエンコーダを明示的に求める。
  論文  参考訳（メタデータ） (2021-09-29T04:22:49Z)
• Deep Relational Metric Learning [84.95793654872399]
  本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。 我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。 広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-08-23T09:31:18Z)
• Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
  Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。 CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
  論文  参考訳（メタデータ） (2021-06-11T21:45:44Z)
• Integrating Auxiliary Information in Self-supervised Learning [94.11964997622435]
  まず、補助情報がデータ構造に関する有用な情報をもたらす可能性があることを観察する。 補助情報に基づいてデータクラスタを構築する。 我々はCl-InfoNCEがデータクラスタリング情報を活用するためのより良いアプローチであることを示した。
  論文  参考訳（メタデータ） (2021-06-05T11:01:15Z)
• Self-supervised Co-training for Video Representation Learning [103.69904379356413]
  実例に基づく情報ノイズコントラスト推定訓練に意味クラス正の付加を施すことの利点について検討する。 本稿では,インフォネッションNCEの損失を改善するための,自己指導型協調学習手法を提案する。 本研究では,2つの下流タスク(行動認識とビデオ検索)における学習表現の質を評価する。
  論文  参考訳（メタデータ） (2020-10-19T17:59:01Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。