論文の概要: Beyond I-Con: Exploring New Dimension of Distance Measures in Representation Learning

• arxiv url: http://arxiv.org/abs/2509.04734v1
• Date: Fri, 05 Sep 2025 01:23:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.441482
• Title: Beyond I-Con: Exploring New Dimension of Distance Measures in Representation Learning
• Title（参考訳）: I-Conを超えて: 表現学習における距離の新たな次元を探る
• Authors: Jasmine Shone, Shaden Alshammari, Mark Hamilton, Zhening Li, William Freeman,
• Abstract要約: 新規な損失関数の体系的発見を可能にするフレームワークであるBeyond I-Conを提案する。 本研究は,表現学習最適化におけるカーネル選択のばらつきと類似性を検討することの重要性を強調した。
• 参考スコア（独自算出の注目度）: 7.8851393122408515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Information Contrastive (I-Con) framework revealed that over 23 representation learning methods implicitly minimize KL divergence between data and learned distributions that encode similarities between data points. However, a KL-based loss may be misaligned with the true objective, and properties of KL divergence such as asymmetry and unboundedness may create optimization challenges. We present Beyond I-Con, a framework that enables systematic discovery of novel loss functions by exploring alternative statistical divergences and similarity kernels. Key findings: (1) on unsupervised clustering of DINO-ViT embeddings, we achieve state-of-the-art results by modifying the PMI algorithm to use total variation (TV) distance; (2) on supervised contrastive learning, we outperform the standard approach by using TV and a distance-based similarity kernel instead of KL and an angular kernel; (3) on dimensionality reduction, we achieve superior qualitative results and better performance on downstream tasks than SNE by replacing KL with a bounded f-divergence. Our results highlight the importance of considering divergence and similarity kernel choices in representation learning optimization.
• Abstract（参考訳）: Information Contrastive (I-Con)フレームワークは、23以上の表現学習手法がデータポイント間の類似性を符号化する学習分布とデータ間のKL分散を暗黙的に最小化することを示した。 しかし、KLに基づく損失は真の目的と一致しないかもしれないし、非対称性や非有界性のようなKLの発散の性質は最適化問題を引き起こすかもしれない。 本稿では,新しい損失関数の体系的発見を可能にするフレームワークであるBeyond I-Conを提案する。 主な知見:(1)DINO-ViT埋め込みの教師なしクラスタリング、(2)全変動(TV)距離を使用するPMIアルゴリズムの変更による最先端結果、(2)教師付きコントラスト学習では、KLと角核の代わりにテレビと距離に基づく類似性カーネルを用いることで、標準的アプローチより優れ、(3)次元性低減では、KLを境界f分割に置き換えることにより、SNEよりも優れた質的結果と下流タスクの性能を得る。 本研究は,表現学習最適化におけるカーネル選択のばらつきと類似性を検討することの重要性を強調した。

関連論文リスト

• FAIRWELL: Fair Multimodal Self-Supervised Learning for Wellbeing Prediction [16.913286294651236]
  本稿では、以下の3つのメカニズムを用いて、より公平な表現を学習するための新しい主観レベル損失関数を提案する。 我々は,現実の異種医療データセットを3つ評価した。
  論文  参考訳（メタデータ） (2025-08-22T19:03:06Z)
• Generalized Kullback-Leibler Divergence Loss [105.66549870868971]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 DKL損失の非結合構造により,我々は改善すべき2つの領域を特定した。
  論文  参考訳（メタデータ） (2025-03-11T04:43:33Z)
• Your contrastive learning problem is secretly a distribution alignment problem [11.75699373180322]
  我々は、視覚と分布アライメントに広く用いられているノイズコントラスト推定損失の接続を構築した。 潜伏剤の分布からより多くの情報を利用することで、本手法は増分標本集合内の関係をより分布に意識した操作を可能にする。
  論文  参考訳（メタデータ） (2025-02-27T14:33:08Z)
• Revisiting Self-Supervised Heterogeneous Graph Learning from Spectral Clustering Perspective [52.662463893268225]
  自己教師付きヘテロジニアスグラフ学習(SHGL)は様々なシナリオにおいて有望な可能性を示している。 既存のSHGLメソッドには2つの大きな制限がある。 ランクと二重整合性制約によって強化された新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-12-01T09:33:20Z)
• SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning [0.0]
  提案した類似性-直交性(SimO)損失を利用したアンカーフリーコントラスト学習(L)手法を提案する。 提案手法は,2つの主目的を同時に最適化するセミメトリック判別損失関数を最小化する。 埋め込み空間におけるSimO損失の影響を可視化する。
  論文  参考訳（メタデータ） (2024-10-07T17:41:10Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Learning Invariant Representation via Contrastive Feature Alignment for Clutter Robust SAR Target Recognition [10.993101256393679]
  本稿ではコントラスト的特徴アライメント(Contrastive Feature Alignment, CFA)と呼ばれる手法を提案し, 頑健な認識のための不変表現を学習する。 CFAは、分類とCWMSEの損失を組み合わせて、モデルを共同で訓練する。 提案したCFAは、分類とCWMSE損失を併用してモデルをトレーニングし、不変対象表現の漸進的学習を可能にする。
  論文  参考訳（メタデータ） (2023-04-04T12:35:33Z)
• Mixed Graph Contrastive Network for Semi-Supervised Node Classification [63.924129159538076]
  我々はMixed Graph Contrastive Network(MGCN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 本研究では,非摂動増強戦略と相関還元機構により,潜伏埋め込みの識別能力を向上する。 これら2つの設定を組み合わせることで、識別表現学習のために、豊富なノードと稀に価値あるラベル付きノードの両方から、豊富な監視情報を抽出する。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。