論文の概要: Understanding InfoNCE: Transition Probability Matrix Induced Feature Clustering

• arxiv url: http://arxiv.org/abs/2511.12180v1
• Date: Sat, 15 Nov 2025 12:17:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.659283
• Title: Understanding InfoNCE: Transition Probability Matrix Induced Feature Clustering
• Title（参考訳）: InfoNCE: 遷移確率行列による特徴クラスタリング
• Authors: Ge Cheng, Shuo Wang, Yun Zhang,
• Abstract要約: コントラスト学習は、視覚、言語、グラフドメインをまたいだ教師なしの表現学習の基盤として登場した。 サンプルの拡張ビューをモデル化するための明示的な特徴空間と、データ拡張ダイナミクスをキャプチャするための遷移確率行列を導入する。 本稿では,特徴の類似性アライメントを柔軟に制御するための調整可能な収束目標を導入する新しい損失関数であるScaled Convergence InfoNCEを提案する。
• 参考スコア（独自算出の注目度）: 6.102178220894629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has emerged as a cornerstone of unsupervised representation learning across vision, language, and graph domains, with InfoNCE as its dominant objective. Despite its empirical success, the theoretical underpinnings of InfoNCE remain limited. In this work, we introduce an explicit feature space to model augmented views of samples and a transition probability matrix to capture data augmentation dynamics. We demonstrate that InfoNCE optimizes the probability of two views sharing the same source toward a constant target defined by this matrix, naturally inducing feature clustering in the representation space. Leveraging this insight, we propose Scaled Convergence InfoNCE (SC-InfoNCE), a novel loss function that introduces a tunable convergence target to flexibly control feature similarity alignment. By scaling the target matrix, SC-InfoNCE enables flexible control over feature similarity alignment, allowing the training objective to better match the statistical properties of downstream data. Experiments on benchmark datasets, including image, graph, and text tasks, show that SC-InfoNCE consistently achieves strong and reliable performance across diverse domains.
• Abstract（参考訳）: コントラスト学習は、視覚、言語、グラフ領域にまたがる教師なしの表現学習の基盤として現れ、InfoNCEが主流の目標となっている。 実証的な成功にもかかわらず、InfoNCEの理論的基盤は依然として限られている。 本研究では,サンプルの拡張ビューをモデル化するための明示的な特徴空間と,データ拡張ダイナミクスをキャプチャするための遷移確率行列を導入する。 InfoNCEは、同じソースを共有する2つのビューの確率を、この行列によって定義された一定のターゲットに向けて最適化し、表現空間における特徴クラスタリングを自然に誘導することを示した。 この知見を生かして,特徴類似性アライメントを柔軟に制御する可変収束目標を導入した新しい損失関数Scaled Convergence InfoNCE(SC-InfoNCE)を提案する。 SC-InfoNCEは、ターゲット行列をスケールすることにより、特徴類似性アライメントの柔軟な制御を可能にし、トレーニング対象が下流データの統計特性によく適合できるようにする。 画像、グラフ、テキストタスクを含むベンチマークデータセットの実験は、SC-InfoNCEがさまざまなドメインで一貫して強力で信頼性の高いパフォーマンスを実現していることを示している。

関連論文リスト

• SC-GIR: Goal-oriented Semantic Communication via Invariant Representation Learning [59.45312293893698]
  目標指向セマンティックコミュニケーション(SC)は,タスクの意味情報のみを伝達することで,コミュニケーションシステムに革命をもたらすことを目的としている。 画像伝送のためのSC-GIR(Goal-oriented Invariant Representation-based SC)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-01T04:29:43Z)
• Self-Reinforced Graph Contrastive Learning [7.49025068464945]
  SRGCL(Self-Reinforced Graph Contrastive Learning)を提案する。 多様なグラフレベルの分類タスクの実験では、SRGCLは最先端のGCL法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-05-19T18:45:54Z)
• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  本研究では,(マルチモーダル)自己教師型表現学習のデータ予測タスクにおいて,連続領域における識別確率モデルについて検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。 MISが要求する条件付き確率密度の和を近似する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Neural Clustering based Visual Representation Learning [61.72646814537163]
  クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。 本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。 FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
  論文  参考訳（メタデータ） (2024-03-26T06:04:50Z)
• Masked Momentum Contrastive Learning for Zero-shot Semantic Understanding [39.424931953675994]
  自己教師付き事前学習(SSP)は、ラベル付きデータなしで有意義な特徴表現を抽出できる機械学習の一般的な手法として登場した。 本研究は、コンピュータビジョンタスクにおける純粋な自己教師付き学習(SSL)技術の有効性を評価する。
  論文  参考訳（メタデータ） (2023-08-22T13:55:57Z)
• L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning [14.888569402903562]
  自己教師付き学習(SSL)とフェデレーション付き学習(FL)をひとつのコヒーレントシステムに統合することは、データプライバシの保証を提供する可能性がある。 本稿では,FLアグリゲーションにおけるクライアントバイアスや分散の影響を軽減するため,レイヤワイド・ディバージェンス・アウェア・ウェイト・アグリゲーション(L-DAWA)と呼ばれる新たなアグリゲーション戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-14T15:07:30Z)
• GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
  Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。 我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。 学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
  論文  参考訳（メタデータ） (2022-12-07T10:19:39Z)
• Convolutional Fine-Grained Classification with Self-Supervised Target Relation Regularization [34.8793946023412]
  本稿では,動的ターゲット関係グラフ(DTRG)を新たに導入する。 クラスレベルの特徴中心のオンライン計算は、表現空間におけるカテゴリ間距離を生成するように設計されている。 提案したターゲットグラフは,表現学習におけるデータの分散性と不均衡を緩和する。
  論文  参考訳（メタデータ） (2022-08-03T11:51:53Z)
• ScalableViT: Rethinking the Context-oriented Generalization of Vision Transformer [26.546827590370054]
  自己認識のメカニズムは本質的には、事前に定義された、あるいはよりステッドファストな計算次元に依存している。 本稿では,2つのスケーリング要素を利用してクエリ,キー,値行列の次元を解放し,それらを入力とアンバインドする,スケーラブルなセルフアテンション機構を提案する。 このスケーラビリティは、コンテキスト指向の一般化を引き合いに出し、オブジェクトの感度を高め、ネットワーク全体を精度とコストの間のより効果的なトレードオフ状態へと押し上げる。
  論文  参考訳（メタデータ） (2022-03-21T08:08:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。