論文の概要: Self-Supervised Representation Learning as Mutual Information Maximization

• arxiv url: http://arxiv.org/abs/2510.01345v1
• Date: Wed, 01 Oct 2025 18:18:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.81601
• Title: Self-Supervised Representation Learning as Mutual Information Maximization
• Title（参考訳）: 相互情報最大化としての自己教師付き表現学習
• Authors: Akhlaqur Rahman Sabby, Yi Sui, Tongzi Wu, Jesse C. Cresswell, Ga Wu,
• Abstract要約: 自己指導型表現学習(SSRL)は、顕著な経験的成功を示している。 最近の研究は、情報理論の目的を検証してSSRL法を統一しようと試みている。 予測器ネットワーク、停止段階演算、統計正則化器といったアーキテクチャ要素は、しばしば経験的に動機づけられた付加物と見なされる。
• 参考スコア（独自算出の注目度）: 12.795838767116384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised representation learning (SSRL) has demonstrated remarkable empirical success, yet its underlying principles remain insufficiently understood. While recent works attempt to unify SSRL methods by examining their information-theoretic objectives or summarizing their heuristics for preventing representation collapse, architectural elements like the predictor network, stop-gradient operation, and statistical regularizer are often viewed as empirically motivated additions. In this paper, we adopt a first-principles approach and investigate whether the learning objective of an SSRL algorithm dictates its possible optimization strategies and model design choices. In particular, by starting from a variational mutual information (MI) lower bound, we derive two training paradigms, namely Self-Distillation MI (SDMI) and Joint MI (JMI), each imposing distinct structural constraints and covering a set of existing SSRL algorithms. SDMI inherently requires alternating optimization, making stop-gradient operations theoretically essential. In contrast, JMI admits joint optimization through symmetric architectures without such components. Under the proposed formulation, predictor networks in SDMI and statistical regularizers in JMI emerge as tractable surrogates for the MI objective. We show that many existing SSRL methods are specific instances or approximations of these two paradigms. This paper provides a theoretical explanation behind the choices of different architectural components of existing SSRL methods, beyond heuristic conveniences.
• Abstract（参考訳）: 自己指導型表現学習(SSRL)は目覚ましい経験的成功を示しているが、その根底にある原理は未だ十分に理解されていない。 最近の研究は、情報理論の目的を検証したり、表現の崩壊を防ぐためのヒューリスティックを要約したりすることでSSRL法を統一しようとするが、予測器ネットワーク、停止次数演算、統計正則化といったアーキテクチャ要素は、しばしば経験的に動機づけられた加算と見なされる。 本稿では,SSRLアルゴリズムの学習目的がその最適化戦略とモデル設計選択を規定するか否かを考察する。 特に、変動的相互情報(MI)の下界から始めることで、自己蒸留MI(SDMI)とジョイントMI(JMI)という2つの訓練パラダイムを導き、それぞれが異なる構造的制約を課し、既存のSSRLアルゴリズムの集合をカバーする。 SDMIは本質的に最適化を交互に必要としており、理論上は停止段階の操作が不可欠である。 対照的に、JMIはそのようなコンポーネントを使わずに対称アーキテクチャによる共同最適化を認めている。 提案した定式化の下では、SDMIの予測器ネットワークとJMIの統計正則化器が、MIの目的のためのトラクタブルサロゲートとして出現する。 既存のSSRL法の多くは、これらの2つのパラダイムの特定のインスタンスまたは近似であることを示す。 本稿では,既存のSSRL手法の異なる設計要素の選択を,ヒューリスティックな利便性以外にも理論的に説明する。

関連論文リスト

• Structural DID with ML: Theory, Simulation, and a Roadmap for Applied Research [3.0031348283981987]
  観測パネルデータの因果推論は、経済学、政治分析、より広範な社会科学において中心的な関心事となっている。 本稿では,構造同定と高次元推定を統合したS-DIDという革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-21T03:57:42Z)
• Deep Unrolled Meta-Learning for Multi-Coil and Multi-Modality MRI with Adaptive Optimization [0.0]
  核磁気共鳴イメージング(MRI)のための統合型深層メタラーニングフレームワークを提案する。 マルチコイル再構成とクロスモダリティ合成を共同で行う。 その結果,従来の教師あり学習よりもPSNRが大幅に向上した。
  論文  参考訳（メタデータ） (2025-05-08T04:47:12Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Constrained Reinforcement Learning with Average Reward Objective: Model-Based and Model-Free Algorithms [34.593772931446125]
  モノグラフは、平均報酬決定過程(MDPs)の文脈内で制約された様々なモデルベースおよびモデルフリーアプローチの探索に焦点を当てている このアルゴリズムは制約付きMDPの解法として検討されている。
  論文  参考訳（メタデータ） (2024-06-17T12:46:02Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。