論文の概要: Rethinking Representation Geometry in Supervised Contrastive Learning under Long-Tailed Data

• arxiv url: http://arxiv.org/abs/2610.32039v1
• Date: Fri, 23 Oct 2026 01:30:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.317673
• Title: Rethinking Representation Geometry in Supervised Contrastive Learning under Long-Tailed Data
• Title（参考訳）: 長期データに基づく教師付きコントラスト学習における表現幾何学の再考
• Abstract要約: クラスごとのサンプル数に依存しているため、代表目的が最適に正規の単純度を形成できないことを示す。 そこで本研究では,正則な単純な幾何学を最適に形成するための,完全にバランスの取れた比較対象を提案する。
• 参考スコア（独自算出の注目度）: 10.223656553455001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised contrastive learning and its balanced variants have demonstrated their effectiveness for representation learning under long-tailed distributions. However, although prior analyses suggest that their optimal representations may exhibit a regular simplex geometry, whether such a geometry is indeed exhibited remains insufficiently understood. In this work, we present a theoretical framework for these objectives that characterizes whether a regular simplex is formed at the optimum. By applying this to representative objectives, we show that these objectives fail to form a regular simplex at the optimum because they remain dependent on the number of samples per class. Motivated by this analysis, we introduce structural balancing that can be applied to contrastive objectives, and propose a fully balanced contrastive objective that provably forms a regular simplex geometry at its optimum. Both theoretical and empirical results demonstrate that the proposed method yields a more balanced representation space and improves performance on long-tailed recognition and transfer learning tasks.
• Abstract（参考訳）: 教師付きコントラスト学習とそのバランスの取れた変種は、長い尾の分布下での表現学習の有効性を実証している。 しかし、以前の分析では、それらの最適表現は正則な単純な幾何学を示す可能性があるが、そのような幾何学が実際に示されるかどうかはまだ十分に理解されていない。 本研究では,これらの目的に対する理論的枠組みを提示し,正則な単純点が最適点に形成されるか否かを特徴付ける。 これを代表的目的に適用することにより、これらの目的がクラス毎のサンプル数に依存しているため、最適時に正規の単純度を形成できないことを示す。 この分析により, コントラスト的対象に対して適用可能な構造的バランスを導入し, 正則な単純な幾何学を最適に形成できる完全にバランスの取れたコントラスト的対象を提案する。 理論的および実証的な結果から,提案手法はよりバランスの取れた表現空間を得るとともに,長時間の認識・伝達学習タスクの性能向上を図っている。

関連論文リスト

• INSPIRE: An Internalize-Then-Improve Approach for Example-Driven Mathematical Reasoning [61.60016491769943]
  人間の数学教育において、定理境界をテストするために反例を構築するような例に基づく推論は、深い概念的理解を反映している。 本稿では,RGSI(Reference-Guided Students Internalization)と段階的選好学習戦略を組み合わせた内在化・内在化アプローチであるINSPIREを提案する。 複数のモデルスケールとファミリーにわたる実験は、大規模なオープンソースモデルを超えながら、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-08-27T03:24:03Z)
• Inverse Reinforcement Learning without an Optimal Demonstrator: A Feasible Reward Set Approach [7.857217531314837]
  逆強化学習(IRL)は典型的には、一つの最適な実証者からのデモンストレーションを前提としている。 我々は、この環境での報酬学習を、実現可能なリワードセットの枠組みを通して研究する。
  論文  参考訳（メタデータ） (2026-05-29T06:38:10Z)
• Why Self-Supervised Encoders Want to Be Normal [0.0]
  自己教師型エンコーダにおける正規分布の優先性は,インフォメーション・ボトルネック(IB)の原理の直接的な帰結であることを示す。 この枠組みでは、潜在表現は、類似の予測分布を共有する入力のソフトクラスタリングに対応することを示す。 この観点は、広く使われている正規化スキームに対する原則的な説明として、教師付きおよび教師なしの目的を広範囲に統一する。
  論文  参考訳（メタデータ） (2026-04-30T11:33:05Z)
• SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
  本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。 提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。 様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-01T07:13:20Z)
• Unsupervised Synthetic Image Attribution: Alignment and Disentanglement [55.853285140682665]
  そこで我々は,アライメント・アンド・ディスタングルメント(Alignment and Disentanglement)という,シンプルで効果的な教師なしの手法を提案する。 具体的には、コントラッシブな自己教師あり学習を用いて基本的な概念アライメントを実行することから始める。 次に、Infomax損失による表現のゆがみを促進することにより、モデルの属性能力を高める。
  論文  参考訳（メタデータ） (2026-01-30T07:31:53Z)
• Principled Out-of-Distribution Generalization via Simplicity [16.17883058788714]
  画像生成における拡散モデルの合成一般化能力について検討する。 我々は,事前定義された簡易度を用いて定量化した簡易度によるOOD一般化の理論的枠組みを開発する。 我々は、真の、一般化可能な、単純なモデルを学ぶための、最初の鋭いサンプル複雑性を保証する。
  論文  参考訳（メタデータ） (2025-05-28T17:44:10Z)
• Symmetric Pruning of Large Language Models [61.309982086292756]
  Wanda や RIA のような訓練後プルニングの手法は、シンプルだが効果的な設計で知られている。 本稿では, プルーニングの標準最小化目標を再定義する新たな理論的知見を紹介する。 本稿では,入力アクティベーションと重みの両面を考慮した補完戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-31T09:23:06Z)
• Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
  自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
  論文  参考訳（メタデータ） (2021-06-08T07:41:02Z)
• Efficient Iterative Amortized Inference for Learning Symmetric and Disentangled Multi-Object Representations [8.163697683448811]
  本稿では,オブジェクト中心表現の教師なし学習のための効率的なフレームワークであるEfficientMORLを紹介する。 対称性と非絡み合いの両方を必要とすることによる最適化の課題は、高コスト反復的償却推論によって解決できることを示す。 標準のマルチオブジェクト・ベンチマークでは,強いオブジェクト分解と歪みを示しながら,ほぼ1桁の高速なトレーニングとテスト時間推定を実現している。
  論文  参考訳（メタデータ） (2021-06-07T14:02:49Z)
• Counterfactual Representation Learning with Balancing Weights [74.67296491574318]
  観察データによる因果推論の鍵は、それぞれの治療タイプに関連する予測的特徴のバランスを達成することである。 近年の文献では、この目標を達成するために表現学習を探求している。 因果効果を柔軟かつスケーラブルかつ正確に推定するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-23T19:06:03Z)
• Functional Regularization for Representation Learning: A Unified Theoretical Perspective [27.93916012334704]
  教師なしおよび自己教師なしの学習アプローチは、下流予測タスクの表現を学習するための重要なツールとなっている。 本稿では、ラベルなしデータを用いて学習可能な関数を通して表現に正規化を付与するものとして、このようなアプローチがいくつか考えられる統一的な視点を示す。 本稿では,これらの手法のサンプル複雑性を分析するための識別的理論的枠組みを提案し,学習可能な正規化関数を実現するために(Balcan and Blum, 2010)の枠組みを一般化する。
  論文  参考訳（メタデータ） (2020-08-06T04:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。