論文の概要: Contrastive-Collapsed Loss for Flexible and Geometrically Optimal Embeddings and Faster Convergence
- arxiv url: http://arxiv.org/abs/2607.12916v1
- Date: Tue, 14 Jul 2026 15:51:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.217651
- Title: Contrastive-Collapsed Loss for Flexible and Geometrically Optimal Embeddings and Faster Convergence
- Title（参考訳）: フレキシブル・幾何学的最適埋め込みと高速収束のためのコントラスト崩壊損失
- Abstract要約: 正規化および構造化された表現の学習を目的とした損失関数であるCoCoを紹介する。
我々はCoCoがカーネルSVM、ランダムフォレスト、ドット回帰、クロスエントロピーベースのニューラルネットワークなど、最先端の手法と競合する性能を発揮することを示す。
- 参考スコア（独自算出の注目度）: 0.4205692673448205
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this work, we introduce CoCo, a loss function aimed at learning normalized and well-structured representations. The proposed loss encourages intra-class collapse and inter-class contrast while preserving sufficient flexibility for neural networks to approximate geometrically optimal embeddings with large angular separation between classes. We provide a theoretical analysis positioning CoCo with respect to related objectives such as dot regression and cross-entropy, showing that the new proposed loss benefits from closer initialization to the optimal configuration, more informative gradients, and stronger incentives for class-wise representation collapse. Extensive experiments on diverse tabular datasets from the OpenML-CC18 benchmark show that CoCo achieves competitive performance with state-of-the-art methods, including kernel SVM, Random Forest, dot regression, and cross-entropy-based neural networks. In addition, both theoretical arguments and empirical analyses demonstrate that the proposal promotes tighter class clustering and faster convergence. These results highlight CoCo loss as an effective objective for learning discriminative representations while maintaining competitive predictive performance.
- Abstract（参考訳）: 本研究では,正規化および構造化された表現の学習を目的とした損失関数CoCoを紹介する。
提案した損失はクラス内崩壊とクラス間コントラストを促進するとともに、クラス間の大きな角分離を伴う幾何的最適埋め込みを近似するためのニューラルネットワークの十分な柔軟性を保っている。
我々は,ドット回帰やクロスエントロピーなどの関連目的に対してCoCoを位置決めする理論解析を行い,新たな損失の利点として,最適構成への近い初期化,より情報的勾配,クラスワイド表現の崩壊に対する強いインセンティブが示された。
OpenML-CC18ベンチマークによる多様な表形式のデータセットに関する大規模な実験によると、CoCoは、カーネルSVM、ランダムフォレスト、ドット回帰、クロスエントロピーベースのニューラルネットワークなど、最先端の手法と競合するパフォーマンスを達成している。
さらに、理論的議論と経験的分析の両方が、この提案がより厳密なクラスクラスタリングとより高速な収束を促進することを証明している。
これらの結果から,CoCoの損失は,競争力のある予測性能を維持しつつ,差別表現の学習に有効な目的であることが示された。
関連論文リスト
- Generalized Convexity and Smoothness via Conjugate Duality: Optimization Theory for Deep Neural Networks [0.0]
勾配降下(SGD)を用いたディープニューラルネットワーク(DNN)トレーニングとその変種は、強い経験的性能を達成する。
伝統的な分析は微分可能性、凸性、滑らかさといった仮定に依存している。
我々は,円凸非平滑性と滑らかな非平滑な目的を統一する,$mathcalH()$スムースネスと$mathcalH()$スムースネスを導入する。
論文 参考訳（メタデータ） (2026-08-10T12:24:29Z) - Silhouette Loss: Differentiable Global Structure Learning for Deep Representations [0.0]
我々は、クラスタリング解析から古典的なシルエット係数に着想を得た、新しい微分可能な目標であるソフトシルエットロスを紹介する。
我々の定式化は、各サンプルをバッチ内の全クラスに対して評価し、バッチレベルのグローバル構造の概念を提供する。
クロスエントロピーとシームレスに結合することができ、教師付きコントラスト学習を補完する。
論文 参考訳（メタデータ） (2026-03-27T12:11:47Z) - Is Softmax Loss All You Need? A Principled Analysis of Softmax-family Loss [91.61796429377041]
ソフトマックスの損失は、分類とランキングのタスクにおいて最も広く使用されるサロゲートの目標の1つである。
本研究では,異なるサロゲートが分類とランキングの指標との整合性を達成するかどうかを考察し,それらの勾配ダイナミクスを分析して,異なる収束挙動を明らかにする。
本研究は,大規模機械学習アプリケーションにおける損失選択の実践的ガイダンスとして,原則的基礎を確立した。
論文 参考訳（メタデータ） (2026-01-30T09:24:52Z) - CoCo-Fed: A Unified Framework for Memory- and Communication-Efficient Federated Learning at the Wireless Edge [50.42067935605982]
ローカルメモリの効率とグローバル通信の削減を両立させる新しい圧縮・結合型学習フレームワークを提案する。
CoCo-Fedは、メモリと通信効率の両方において最先端のベースラインを著しく上回り、非IID設定下では堅牢な収束を維持している。
論文 参考訳（メタデータ） (2026-01-02T03:39:50Z) - Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である
我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。
提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
論文 参考訳（メタデータ） (2025-10-27T23:10:06Z) - Distributed optimization: designed for federated learning [6.642087364775619]
Federated Learning(FL)は、プライバシ保護制約の下で分散コラボレーション機械学習フレームワークである。
本稿では,拡張ラグランジアン手法に基づく分散最適化アルゴリズムのクラスを提案する。
数値実験により,提案アルゴリズムは大規模設定において高い性能を示すことが示された。
論文 参考訳（メタデータ） (2025-08-12T03:39:07Z) - COPO: Consistency-Aware Policy Optimization [17.328515578426227]
強化学習は、複雑な問題解決タスクにおける大規模言語モデル(LLM)の推論能力を大幅に向上させた。
近年、DeepSeek R1の導入により、ルールベースの報酬をコンピューティングの利点関数の低コストな代替手段として活用し、ポリシー最適化を導くことへの関心が高まっている。
本稿では,結果整合性に基づくグローバルな報酬構造を導入する,整合性を考慮したポリシー最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-06T07:05:18Z) - Consensus-based optimization for closed-box adversarial attacks and a connection to evolution strategies [4.813333335683418]
合意に基づく最適化(CBO)は、効率的な勾配のない最適化スキームとして確立されている。
我々の研究はRiedlらによってもたらされ、自然進化戦略(NES)が敵の攻撃に一般的に適用されている。
概念的類似性にもかかわらず、CBOは特定のシナリオにおいてNESや他の進化戦略より優れている。
論文 参考訳（メタデータ） (2025-06-30T16:54:44Z) - NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。
提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。
実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2025-06-11T06:59:17Z) - Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳（メタデータ） (2024-01-10T04:55:24Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。