Fugu-MT 論文翻訳(概要): Understanding Submodular Information Measure Based Objectives for Representation Learning: A Variance and Separation Perspective

論文の概要: Understanding Submodular Information Measure Based Objectives for Representation Learning: A Variance and Separation Perspective

arxiv url: http://arxiv.org/abs/2607.27660v1
Date: Thu, 30 Jul 2026 04:17:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-31 21:37:00.393821
Title: Understanding Submodular Information Measure Based Objectives for Representation Learning: A Variance and Separation Perspective
Title（参考訳）: 表現学習のためのサブモジュール情報尺度に基づく目的理解:変数と分離の視点から
Abstract要約: サブモーダル情報尺度(SIM)は、表現学習と多モーダル学習のための強力なフレームワークとして登場した。我々は,SIMを表現学習や統計的パターン認識の古典的概念に結びつける統一理論フレームワークを開発した。この結果から, サブモジュラー情報測度の統一的, 統計的理解が得られた。
参考スコア（独自算出の注目度）: 3.9890357781493595
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Submodular Information Measures (SIMs) have recently emerged as a powerful framework for representation learning and multimodal learning. In particular, the SCORE framework~\cite{majee2024score} demonstrated that SIMs can serve as effective objectives for supervised contrastive learning. Despite their empirical success, however, the geometric and statistical properties induced by different submodular information measures remain poorly understood. In this work, we develop a unified theoretical framework connecting SIMs to classical concepts in representation learning and statistical pattern recognition. We show that Total Information (TI) objectives characterize intra-class structure: Graph Cut TI recovers within-class variance, LogDet TI recovers generalized variance and covariance volume, and Facility Location TI induces imbalance-aware separation that emphasizes rare and confusable classes. We further show that Mutual Information (MI) objectives capture complementary notions of inter-class structure: Graph Cut MI is closely related to centroid separation and Fisher-style discrimination, LogDet MI captures covariance-aware separation through Mahalanobis distance, and Facility Location MI measures nearest-mode representational overlap. We validate these theoretical characterizations using controlled synthetic experiments that independently vary variance, covariance, class imbalance, class separation, and multimodal overlap. Across all settings, the empirical behavior closely matches the proposed theory. Our results provide the first unified geometric and statistical understanding of submodular information measures and offer principled guidance for selecting and designing SIM-based objectives for representation learning.
Abstract（参考訳）: サブモーダル情報尺度(SIM)は近年,表現学習と多モーダル学習のための強力なフレームワークとして出現している。特に、SCOREフレームワーク~\cite{majee2024score}は、SIMが教師付きコントラスト学習の効果的な目的として機能することを示した。しかし、その経験的成功にもかかわらず、異なる部分モジュラー情報測度によって引き起こされる幾何学的および統計的性質はいまだに理解されていない。本研究では,表現学習と統計的パターン認識において,SIMと古典的概念を結合する統一理論フレームワークを開発する。グラフカットTIはクラス内の分散を回復し、LogDet TIは一般化された分散と共分散の体積を回復し、施設配置TIは希少で不確実なクラスを強調する不均衡な分離を誘導する。グラフカットMIは遠心分離とフィッシャースタイルの識別と密接に関連しており、LogDet MIはマハラノビス距離を介して共分散認識分離を捉え、ファシリティロケーションMIは最寄りモードの表現重複を計測する。本研究では, 分散, 共分散, クラス不均衡, クラス分離, マルチモーダル重なりが独立に異なる, 制御された合成実験を用いて, これらの理論的特徴を検証した。あらゆる設定において、経験的行動は提案された理論と密接に一致している。本研究は,サブモジュール情報測度の統一的および統計的理解を初めて提供し,SIMに基づく表現学習の目的の選択と設計のための原則的ガイダンスを提供する。

関連論文リスト

Self-Supervised Representation Learning as Mutual Information Maximization [12.795838767116384]
自己指導型表現学習(SSRL)は、顕著な経験的成功を示している。最近の研究は、情報理論の目的を検証してSSRL法を統一しようと試みている。予測器ネットワーク、停止段階演算、統計正則化器といったアーキテクチャ要素は、しばしば経験的に動機づけられた付加物と見なされる。
論文参考訳（メタデータ） (2025-10-01T18:18:14Z)
Multi-Scale Manifold Alignment for Interpreting Large Language Models: A Unified Information-Geometric Framework [4.935224714809964]
我々は,LLM表現を局所的,中間的,大域的多様体に分解する情報幾何学的フレームワークであるマルチスケールマニフォールドアライメント(MSMA)を提案する。我々は一貫した階層パターンを観察し、MSMAが複数の推定値の下でアライメントの指標を改善することを発見した。異なるスケールでの制御された介入は、語彙の多様性、文構造、談話のコヒーレンスに区別され、アーキテクチャに依存した効果をもたらす。
論文参考訳（メタデータ） (2025-05-24T10:25:58Z)
On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
本研究では,(マルチモーダル)自己教師型表現学習のデータ予測タスクにおいて,連続領域における識別確率モデルについて検討する。我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。 MISが要求する条件付き確率密度の和を近似する新しい非パラメトリック手法を提案する。
論文参考訳（メタデータ） (2024-10-11T18:02:46Z)
Weighted Point Set Embedding for Multimodal Contrastive Learning Toward Optimal Similarity Metric [44.95433989446052]
提案手法の利点は,CLIPの相対的損失に対する新たな理解を通じて示される。重み付き点集合に基づく提案した類似性は、常に最適類似性を達成することを示す。
論文参考訳（メタデータ） (2024-04-30T03:15:04Z)
A Theoretical Analysis of Self-Supervised Learning for Vision Transformers [66.08606211686339]
マスク付きオートエンコーダ(MAE)とコントラスト学習(CL)は異なる種類の表現をキャプチャする。我々は,MAEとCLの両目的に対して,一層ソフトマックス型視覚変換器(ViT)のトレーニングダイナミクスについて検討した。
論文参考訳（メタデータ） (2024-03-04T17:24:03Z)
Self-Supervised Representation Learning with Meta Comprehensive Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文参考訳（メタデータ） (2024-03-03T15:53:48Z)
A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。自己教師型学習のための生成潜在変数モデルを提案する。対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文参考訳（メタデータ） (2024-02-02T13:31:17Z)
Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。 BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
論文参考訳（メタデータ） (2022-08-22T09:07:02Z)
Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文参考訳（メタデータ） (2022-06-20T03:09:46Z)
Learning Prototype-oriented Set Representations for Meta-Learning [85.19407183975802]
集合構造データから学ぶことは、近年注目を集めている根本的な問題である。本稿では,既存の要約ネットワークを改善するための新しい最適輸送方式を提案する。さらに、少数ショット分類と暗黙的メタ生成モデリングの事例にインスタンス化する。
論文参考訳（メタデータ） (2021-10-18T09:49:05Z)
Deep Relational Metric Learning [84.95793654872399]
本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
論文参考訳（メタデータ） (2021-08-23T09:31:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。