論文の概要: NDCG-Consistent Softmax Approximation with Accelerated Convergence

• arxiv url: http://arxiv.org/abs/2506.09454v1
• Date: Wed, 11 Jun 2025 06:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.668027
• Title: NDCG-Consistent Softmax Approximation with Accelerated Convergence
• Title（参考訳）: NDCG-Consistent Softmax Approximation with Accelerated Convergence
• Authors: Yuanhao Pu, Defu Lian, Xiaolong Chen, Xu Huang, Jin Chen, Enhong Chen,
• Abstract要約: 本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
• 参考スコア（独自算出の注目度）: 67.10365329542365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ranking tasks constitute fundamental components of extreme similarity learning frameworks, where extremely large corpora of objects are modeled through relative similarity relationships adhering to predefined ordinal structures. Among various ranking surrogates, Softmax (SM) Loss has been widely adopted due to its natural capability to handle listwise ranking via global negative comparisons, along with its flexibility across diverse application scenarios. However, despite its effectiveness, SM Loss often suffers from significant computational overhead and scalability limitations when applied to large-scale object spaces. To address this challenge, we propose novel loss formulations that align directly with ranking metrics: the Ranking-Generalizable \textbf{squared} (RG$^2$) Loss and the Ranking-Generalizable interactive (RG$^\times$) Loss, both derived through Taylor expansions of the SM Loss. Notably, RG$^2$ reveals the intrinsic mechanisms underlying weighted squared losses (WSL) in ranking methods and uncovers fundamental connections between sampling-based and non-sampling-based loss paradigms. Furthermore, we integrate the proposed RG losses with the highly efficient Alternating Least Squares (ALS) optimization method, providing both generalization guarantees and convergence rate analyses. Empirical evaluations on real-world datasets demonstrate that our approach achieves comparable or superior ranking performance relative to SM Loss, while significantly accelerating convergence. This framework offers the similarity learning community both theoretical insights and practically efficient tools, with methodologies applicable to a broad range of tasks where balancing ranking quality and computational efficiency is essential.
• Abstract（参考訳）: ランク付けタスクは、非常に大きなオブジェクトのコーパスが、あらかじめ定義された順序構造に固執する相対的類似性関係を通してモデル化される、極端な類似性学習フレームワークの基本的な構成要素である。 さまざまなランク付けサロゲートの中で、Softmax (SM) Lossは、グローバルなネガティブ比較を通じてリストのランク付けを処理する自然な能力と、さまざまなアプリケーションシナリオにまたがる柔軟性により、広く採用されている。 しかし、その効果にもかかわらず、SMロスは大規模オブジェクト空間に適用する場合、計算オーバーヘッドとスケーラビリティの大幅な制限に悩まされることが多い。 この課題に対処するために、ランク付け可能 \textbf{ squared} (RG$^2$) ロスとランク付け可能インタラクティブ (RG$^\times$) ロスというランク付け可能 \textbf{ squared} (RG$^2$) の指標と直接一致する新しい損失定式化を提案する。 特に、RG$^2$は、ランク付け法における重み付き二乗損失(WSL)の根底にある固有のメカニズムを明らかにし、サンプリングベースと非サンプリングベース損失パラダイムの基本的な関係を明らかにする。 さらに,提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法に統合し,一般化保証と収束速度解析の両方を提供する。 実世界のデータセットに対する実証的な評価は、我々の手法がSM損失に対して同等または上位の成績を達成し、コンバージェンスを著しく加速することを示している。 このフレームワークは、理論的な洞察と実用的なツールの両方を提供する。方法論は、ランキング品質と計算効率のバランスが不可欠である幅広いタスクに適用できる。

関連論文リスト

• Is Softmax Loss All You Need? A Principled Analysis of Softmax-family Loss [91.61796429377041]
  ソフトマックスの損失は、分類とランキングのタスクにおいて最も広く使用されるサロゲートの目標の1つである。 本研究では,異なるサロゲートが分類とランキングの指標との整合性を達成するかどうかを考察し,それらの勾配ダイナミクスを分析して,異なる収束挙動を明らかにする。 本研究は,大規模機械学習アプリケーションにおける損失選択の実践的ガイダンスとして,原則的基礎を確立した。
  論文  参考訳（メタデータ） (2026-01-30T09:24:52Z)
• Robust low-rank estimation with multiple binary responses using pairwise AUC loss [0.0]
  複数のバイナリ応答は、多くの現代のデータ分析問題に現れる。 低ランクモデルはタスク間の遅延依存をエンコードする自然な方法を提供する。 既存のバイナリデータの方法は概ね可能性ベースであり、ポイントワイズ分類に重点を置いている。
  論文  参考訳（メタデータ） (2026-01-13T15:00:10Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
  ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。 我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。 実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-01-10T08:43:07Z)
• Scale-aware Adaptive Supervised Network with Limited Medical Annotations [17.42211316792232]
  SASNetは、新しいスケール対応適応リウェイト機構を通じて、低レベルと高レベルの両方の特徴表現を利用するデュアルブランチアーキテクチャである。 このアプローチでは,スケールアウェアのAdaptive Reweight戦略を含む,3つの重要な方法論的イノベーションを導入している。 SASNetは、最先端の半教師付き手法を超越したラベル付きデータで優れた性能を達成する。
  論文  参考訳（メタデータ） (2026-01-02T23:55:17Z)
• Principled Algorithms for Optimizing Generalized Metrics in Binary Classification [53.604375124674796]
  一般化されたメトリクスを最適化するアルゴリズムを導入し、$H$-consistency と finite-sample generalization bounds をサポートする。 提案手法は,メトリクス最適化を一般化したコスト依存学習問題として再検討する。 我々は,理論性能を保証する新しいアルゴリズムMETROを開発した。
  論文  参考訳（メタデータ） (2025-12-29T01:33:42Z)
• Uncertainty-Aware Dual-Ranking Strategy for Offline Data-Driven Multi-Objective Optimization [9.62861758248967]
  オフラインデータ駆動型多目的最適化問題(MOP)は、シミュレーション、実験、センサーからの限られたデータに依存している。 本稿では, 基本的な多目的進化アルゴリズムNSGA-IIを用いて, 単純かつ斬新な2段階戦略を提案する。 この二重ランク戦略では、各解の最終ランクは、その非支配的なソートランクの平均であり、不確実調整適合関数から導かれるランクである。
  論文  参考訳（メタデータ） (2025-11-09T16:53:40Z)
• OFMU: Optimization-Driven Framework for Machine Unlearning [5.100622189286672]
  大規模言語モデルは、ユーザ要求、著作権のある資料、時代遅れの情報など、特定の知識を解放する能力を必要としている。 我々は,保留期間を保ちながら忘れを明示的に優先順位付けするペナルティベースの二段階最適化フレームワークOFMUを提案する。 OFMUは既存のアンラーニング手法を有効性と有効性の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-09-26T15:31:32Z)
• HFedATM: Hierarchical Federated Domain Generalization via Optimal Transport and Regularized Mean Aggregation [12.655334562608314]
  Federated Learning(FL)は、複数のクライアントが生データを共有せずに、共同で共有グローバルモデルをトレーニングする分散アプローチである。 本稿では階層型フェデレーションドメイン一般化(HFedDG)を紹介する。
  論文  参考訳（メタデータ） (2025-08-07T08:14:52Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [7.566515311806724]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• MoL for LLMs: Dual-Loss Optimization to Enhance Domain Expertise While Preserving General Capabilities [0.0]
  本稿では,ドメイン固有および汎用コーパスの最適化目標を分離する新しいフレームワークであるMixture of Losses (MoL)を提案する。 具体的には、クロスエントロピー(CE)損失は知識獲得を保証するためにドメイン・コーパスに適用され、一方、Kulback-Leibler(KL)の分散は、一般的なコーパストレーニングとベースモデルの基本的な能力とを一致させる。
  論文  参考訳（メタデータ） (2025-05-17T15:12:47Z)
• Improving $(α, f)$-Byzantine Resilience in Federated Learning via layerwise aggregation and cosine distance [7.8973037023478785]
  フェデレートラーニング(FL)は、分散機械学習におけるデータプライバシの課題に対する潜在的な解決策である。 FLシステムは、悪意のあるノードが破損したモデル更新に寄与するビザンティン攻撃に弱いままである。 本稿では,高次元設定における規則の堅牢性向上を目的とした新しいアグリゲーション手法であるLayerwise Cosine Aggregationを紹介する。
  論文  参考訳（メタデータ） (2025-03-27T08:07:39Z)
• Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties [3.269165283595478]
  IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。 本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:50:19Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
  汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。 本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
  論文  参考訳（メタデータ） (2022-04-08T20:46:16Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
  分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。 我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。 特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
  論文  参考訳（メタデータ） (2021-06-21T15:19:52Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。