論文の概要: Principled Top-$k$ Selection for Language Models with Hybrid Gradients

• arxiv url: http://arxiv.org/abs/2610.04162v1
• Date: Sat, 03 Oct 2026 00:12:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 19:42:52.07842
• Title: Principled Top-$k$ Selection for Language Models with Hybrid Gradients
• Title（参考訳）: ハイブリッドグラディエントを持つ言語モデルのための原則付きTop-k$選択
• Abstract要約: このアルゴリズムは, 偏差と分散のバランスをとることで, 最適上限を達成し, レート$O(sqrtT)$で収束することを示す。 提案手法を合成回帰問題,RAG,MoEシステムを含む上位k$選択を含む一連のタスクに適用する。
• 参考スコア（独自算出の注目度）: 4.813319542909334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Selecting the best $k$ items out of $m$ candidates is a critical component of modern large language model systems, such as document selection in Retrieval-Augmented Generation (RAG) and expert routing in Mixture-of-Experts (MoEs). However, training these selection modules remains challenging due to weak gradient signals and suboptimal exploration-exploitation tradeoffs. Furthermore, prior works often rely on heuristics, lacking principled objectives and approaches that explicitly model and solve the top-$k$ selection problem. In this work, we propose a principled objective for training selection modules, whose gradient naturally provides richer training signals in a hybrid form---containing a supervised-gradient component and a policy-gradient component. We show that the selection problem becomes harder as $m$ increases, and our algorithm converges at rate $O(1/\sqrt{T})$, with the optimal upper bound achieved by balancing between bias and variance. Practically, we apply our method to a set of tasks involving top-$k$ selection, including synthetic regression problems, RAG, and MoE systems, showing that our method outperforms the baselines in next-token prediction perplexity and QA accuracy.
• Abstract（参考訳）: $m$の候補の中から最高の$k$の項目を選択することは、Retrieval-Augmented Generation (RAG)におけるドキュメントの選択やMixture-of-Experts (MoEs)におけるエキスパートルーティングなど、現代の大規模言語モデルシステムの重要なコンポーネントである。 しかし、これらの選択モジュールの訓練は、弱い勾配信号と準最適探査・探査トレードオフのため、依然として困難なままである。 さらに、先行研究はしばしばヒューリスティックスに頼り、高額な選択問題をモデル化し解決する原則的な目的やアプローチを欠いている。 そこで本研究では, 教師付き次数次成分とポリシ次数次成分を含むハイブリッド形式で, グラデーションがよりリッチなトレーニング信号を自然に提供する, 選択モジュールの学習目標を提案する。 選択問題はm$が増加するにつれて難しくなり、我々のアルゴリズムはO(1/\sqrt{T})$で収束し、最適な上限はバイアスと分散のバランスをとることによって達成される。 提案手法は,合成回帰問題,RAG,MoEシステムを含む上位k$選択を含む一連のタスクに適用し,次点の予測難易度とQA精度において,ベースラインよりも優れていることを示す。

関連論文リスト

• You're Hired: Strategic Model Selection for LLM Collaboration [50.666814272202224]
  本稿では,モデル記述の多様性,能力を考慮した行動多様性,LLMに基づく採用者など,9つの選抜アルゴリズムの分類法を提案する。 10モデルと32モデルの2つの候補プールにまたがって実験を行い、4つのモデルコラボレーションアルゴリズムで展開し、数学、コーディング、QA、推論にまたがるタスクで評価する。
  論文  参考訳（メタデータ） (2026-09-30T02:44:01Z)
• Lift What You Can: Green Online Learning with Heterogeneous Ensembles [3.5523355921740163]
  入力データに基づいてトレーニングするモデルを選択するためのポリシーを提案する。 とりわけ、コスト削減による最適モデルに近いトレーニングに焦点を当てた、新しい$zeta$-policyを提案する。 11のベンチマークデータセットを対象とした実験では、私たちの$zeta$-policyが最先端への強い貢献である、という経験的証拠を見つけました。
  論文  参考訳（メタデータ） (2025-09-23T13:14:37Z)
• Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
  検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。 ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
  論文  参考訳（メタデータ） (2025-04-18T17:49:55Z)
• Model-Free Robust $φ$-Divergence Reinforcement Learning Using Both Offline and Online Data [16.995406965407003]
  本稿では,ロバスト$phi$-regularized fit Q-iteration (RPQ) と呼ばれるモデルフリーアルゴリズムを提案する。 我々はまた、履歴データとオンラインサンプリングの両方を用いて最適なロバストポリシーを学ぶために、$phi$-regularized reinforcement learning frameworkを導入した。
  論文  参考訳（メタデータ） (2024-05-08T23:52:37Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。