論文の概要: NDCG-Consistent Softmax Approximation with Accelerated Convergence

• arxiv url: http://arxiv.org/abs/2506.09454v1
• Date: Wed, 11 Jun 2025 06:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.668027
• Title: NDCG-Consistent Softmax Approximation with Accelerated Convergence
• Title（参考訳）: NDCG-Consistent Softmax Approximation with Accelerated Convergence
• Authors: Yuanhao Pu, Defu Lian, Xiaolong Chen, Xu Huang, Jin Chen, Enhong Chen,
• Abstract要約: 本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
• 参考スコア（独自算出の注目度）: 67.10365329542365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ranking tasks constitute fundamental components of extreme similarity learning frameworks, where extremely large corpora of objects are modeled through relative similarity relationships adhering to predefined ordinal structures. Among various ranking surrogates, Softmax (SM) Loss has been widely adopted due to its natural capability to handle listwise ranking via global negative comparisons, along with its flexibility across diverse application scenarios. However, despite its effectiveness, SM Loss often suffers from significant computational overhead and scalability limitations when applied to large-scale object spaces. To address this challenge, we propose novel loss formulations that align directly with ranking metrics: the Ranking-Generalizable \textbf{squared} (RG$^2$) Loss and the Ranking-Generalizable interactive (RG$^\times$) Loss, both derived through Taylor expansions of the SM Loss. Notably, RG$^2$ reveals the intrinsic mechanisms underlying weighted squared losses (WSL) in ranking methods and uncovers fundamental connections between sampling-based and non-sampling-based loss paradigms. Furthermore, we integrate the proposed RG losses with the highly efficient Alternating Least Squares (ALS) optimization method, providing both generalization guarantees and convergence rate analyses. Empirical evaluations on real-world datasets demonstrate that our approach achieves comparable or superior ranking performance relative to SM Loss, while significantly accelerating convergence. This framework offers the similarity learning community both theoretical insights and practically efficient tools, with methodologies applicable to a broad range of tasks where balancing ranking quality and computational efficiency is essential.
• Abstract（参考訳）: ランク付けタスクは、非常に大きなオブジェクトのコーパスが、あらかじめ定義された順序構造に固執する相対的類似性関係を通してモデル化される、極端な類似性学習フレームワークの基本的な構成要素である。 さまざまなランク付けサロゲートの中で、Softmax (SM) Lossは、グローバルなネガティブ比較を通じてリストのランク付けを処理する自然な能力と、さまざまなアプリケーションシナリオにまたがる柔軟性により、広く採用されている。 しかし、その効果にもかかわらず、SMロスは大規模オブジェクト空間に適用する場合、計算オーバーヘッドとスケーラビリティの大幅な制限に悩まされることが多い。 この課題に対処するために、ランク付け可能 \textbf{ squared} (RG$^2$) ロスとランク付け可能インタラクティブ (RG$^\times$) ロスというランク付け可能 \textbf{ squared} (RG$^2$) の指標と直接一致する新しい損失定式化を提案する。 特に、RG$^2$は、ランク付け法における重み付き二乗損失(WSL)の根底にある固有のメカニズムを明らかにし、サンプリングベースと非サンプリングベース損失パラダイムの基本的な関係を明らかにする。 さらに,提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法に統合し,一般化保証と収束速度解析の両方を提供する。 実世界のデータセットに対する実証的な評価は、我々の手法がSM損失に対して同等または上位の成績を達成し、コンバージェンスを著しく加速することを示している。 このフレームワークは、理論的な洞察と実用的なツールの両方を提供する。方法論は、ランキング品質と計算効率のバランスが不可欠である幅広いタスクに適用できる。

関連論文リスト

• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [7.566515311806724]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• MoL for LLMs: Dual-Loss Optimization to Enhance Domain Expertise While Preserving General Capabilities [0.0]
  本稿では,ドメイン固有および汎用コーパスの最適化目標を分離する新しいフレームワークであるMixture of Losses (MoL)を提案する。 具体的には、クロスエントロピー(CE)損失は知識獲得を保証するためにドメイン・コーパスに適用され、一方、Kulback-Leibler(KL)の分散は、一般的なコーパストレーニングとベースモデルの基本的な能力とを一致させる。
  論文  参考訳（メタデータ） (2025-05-17T15:12:47Z)
• Improving $(α, f)$-Byzantine Resilience in Federated Learning via layerwise aggregation and cosine distance [7.8973037023478785]
  フェデレートラーニング(FL)は、分散機械学習におけるデータプライバシの課題に対する潜在的な解決策である。 FLシステムは、悪意のあるノードが破損したモデル更新に寄与するビザンティン攻撃に弱いままである。 本稿では,高次元設定における規則の堅牢性向上を目的とした新しいアグリゲーション手法であるLayerwise Cosine Aggregationを紹介する。
  論文  参考訳（メタデータ） (2025-03-27T08:07:39Z)
• Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties [3.269165283595478]
  IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。 本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:50:19Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。