論文の概要: SMI: Efficient Self-Supervised Learning via Mutual-Information-Inspired Dependency Optimization

• arxiv url: http://arxiv.org/abs/2606.08332v1
• Date: Sat, 06 Jun 2026 20:50:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.045874
• Title: SMI: Efficient Self-Supervised Learning via Mutual-Information-Inspired Dependency Optimization
• Title（参考訳）: SMI: 相互情報に触発された依存性最適化による効率的な自己監督型学習
• Authors: Pritam Mishra, Coloma Ballester, Dimosthenis Karatzas,
• Abstract要約: 自己教師付き学習(SSL)は、卓越した表現学習性能を達成した。 既存の多くのメソッドは、大きなバッチサイズ、メモリバンク、モーメントエンコーダ、あるいはグローバル同期機構に依存している。 本稿では,相互情報に触発された依存性の定式化から導かれる軽量な自己教師対象であるセマンティック・ミューチュアル・インフォメーション(SMI)を提案する。
• 参考スコア（独自算出の注目度）: 8.864968998286772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) has achieved remarkable representation learning performance, but many existing methods rely on large batch sizes, memory banks, momentum encoders, or global synchronization mechanisms that substantially increase computational cost and training complexity. In this work, we propose Semantic Mutual Information (SMI), a lightweight self-supervised objective derived from a mutual-information-inspired dependency formulation under Gaussian assumptions. Unlike conventional correlation matching objectives that operate on high-dimensional feature correlation matrices, SMI performs optimization on a sample-level dependency matrix through a nonlinear transformation of pairwise correlations. This formulation induces distinct optimization dynamics that emphasize strongly dependent semantic pairs while maintaining representation diversity. Experimental results on ImageNet using a ResNet-50 backbone demonstrate that SMI achieves competitive linear evaluation performance relative to state-of-the-art SSL approaches while substantially reducing computational complexity. Across multiple low-resource benchmarks, SMI consistently improves transfer performance over Barlow Twins, particularly on fine-grained datasets. Furthermore, analyses of optimization dynamics and representation geometry suggest improved alignment--redundancy balance, greater feature diversity, and more spatially localized semantic representations. These results indicate that nonlinear dependency optimization provides an effective and computationally efficient alternative to conventional correlation-based self-supervised learning objectives.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、卓越した表現学習性能を達成したが、既存の多くの手法は、大規模なバッチサイズ、メモリバンク、モーメントエンコーダ、あるいは計算コストとトレーニングの複雑さを大幅に増大させるグローバル同期機構に依存している。 本研究では,ガウス的仮定に基づく相互情報に着想を得た依存性の定式化から導かれる,軽量な自己教師対象であるセマンティック・ミューチュアル・インフォメーション(SMI)を提案する。 高次元特徴相関行列で動作する従来の相関マッチング目的とは異なり、SMIはペア相関の非線形変換を通じてサンプルレベルの依存行列上で最適化を行う。 この定式化は、表現の多様性を維持しながら強く依存する意味的ペアを強調する、明確な最適化力学を誘導する。 ResNet-50バックボーンを用いたImageNetの実験結果から、SMIは、最先端のSSLアプローチと比較して、計算複雑性を著しく低減しつつ、競合線形評価性能を達成することを示した。 複数の低リソースベンチマークを通じて、SMIは、特にきめ細かいデータセットにおいて、Barlow Twinsの転送性能を一貫して改善している。 さらに、最適化力学と表現幾何学の分析により、アライメント-冗長バランスの改善、特徴の多様性の向上、より空間的に局所化されたセマンティック表現が提案される。 これらの結果から, 非線形依存最適化は, 従来の相関に基づく自己教師型学習の目的に対して, 効果的かつ効率的な代替手段となることが示唆された。

関連論文リスト

• Max-pooling Network Revisited: Analyzing the Role of Semantic Probability in Multiple Instance Learning for Hallucination Detection [31.935824861650005]
  幻覚検出は、大規模言語モデルの信頼性を向上させるためにますます重要になっている。 近年,MIL(Multiple Instance Learning)による内部モデル状態とセマンティック一貫性を組み合わせたHaMIのようなハイブリッドアプローチが,最先端のパフォーマンスを実現している。 本研究では,まず,決定マージンの観点からHaMIの理論的解析を行い,内部状態を意味的整合性で拡張すると決定マージンが大きくなることを示した。
  論文  参考訳（メタデータ） (2026-05-09T10:30:30Z)
• Multiscale Aggregated Hierarchical Attention (MAHA): A Game Theoretic and Optimization Driven Approach to Efficient Contextual Modeling in Large Language Models [0.0]
  マルチスケール集約階層的注意(MAHA)は、階層的分解と数学的に厳密な集約を通じて注意機構を再構築する新しいアーキテクチャフレームワークである。 MAHAは、入力シーケンスを学習可能なダウンサンプリング演算子を介して階層スケールに動的に分割する。 実験的なFLOP解析により,4096のシークエンス長で計算コストが81%削減されたことが確認された。
  論文  参考訳（メタデータ） (2025-12-16T21:27:21Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Mixed Semi-Supervised Generalized-Linear-Regression with Applications to Deep-Learning and Interpolators [6.537685198688539]
  本稿では、ラベルのないデータを用いて、半教師付き学習法(SSL)を設計する手法を提案する。 それぞれに$alpha$という混合パラメータが含まれており、ラベルのないデータに与えられる重みを制御する。 我々は,標準教師付きモデルと比較して,大幅な改善を実現するための方法論の有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-19T09:55:18Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。