論文の概要: Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders

• arxiv url: http://arxiv.org/abs/2610.17771v1
• Date: Tue, 13 Oct 2026 05:57:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:22:01.791178
• Title: Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders
• Title（参考訳）: LLMレコメンダに対するGRPOからの応答音除去
• Abstract要約: ReMaRkは、すべてのリプライのタイトルの統一に対して一度にすべてのリストをスコアし、各リクエストを等しくサンプリングする。 7つのバックボーンと3つのデータセットで、ReMaRkは25から53%のステップで、レスポンス当たり2000のRLステップのバリデーションリコールに達する。
• 参考スコア（独自算出の注目度）: 85.14624245509074
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: A recommendation request on Reddit draws several replies, each naming different titles. When an LLM recommender is trained on such threads with reinforcement learning (RL), which replies should a generated list be rewarded against? The state-of-the-art recipe, Rank-GRPO, picks one reply per training example, so the advantage mostly records which reply was drawn (85% of its variance) rather than how good the list is. We argue that RL should train on the request, not on each answer, and propose ReMaRk: it scores every list once against the union of all replies' titles and samples each request equally. This makes RL cheaper. On seven backbones and three datasets, ReMaRk reaches the validation recall of 2,000 per-reply RL steps in 25 to 53% of the steps and leads at that budget; trained until neither improves, it is never significantly behind Rank-GRPO and in four of seven pairs reaches Rank-GRPO's best with fewer GPU-hours. The same reward helps on ProtoQA, where about 100 people answer each question, which points to a simple rule for RL with several valid human answers: reward them jointly.
• Abstract（参考訳）: Redditのレコメンデーションリクエストにはいくつかのリプライがあり、それぞれ異なるタイトルを命名している。 LLMレコメンデータが強化学習(RL)でそのようなスレッドでトレーニングされた場合、生成されたリストに報奨を与えるべきか? 最先端のレシピであるRanc-GRPOはトレーニング毎に1つの応答を選択するので、その利点は、リストがどれだけ良いかというよりも、その応答が引き出された(ばらつきの85%)記録がほとんどである。 RLは、各回答ではなく、リクエストをトレーニングし、ReMaRkを提案するべきだ、と私たちは主張する。 これはRLを安くする。 7つのバックボーンと3つのデータセットで、ReMaRkは25から53%のステップで2000RLステップのバリデーションリコールに達し、その予算でリードする。 同じ報酬はProtoQAに役立ち、約100人が各質問に答える。

関連論文リスト

• JURY-RL: Votes Propose, Proofs Dispose for Label-Free RLVR [39.03968285406107]
  JURY-RLはラベルのないRLVRフレームワークで、報酬処理から回答提案を分離する。 数学的推論ベンチマークにおいて、ラベルなしのベースラインを一貫して上回る。 Pass@1パフォーマンスは、教師付き地道トレーニングに匹敵する。
  論文  参考訳（メタデータ） (2026-04-28T09:29:00Z)
• Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning [70.6126069527741]
  ConvRec-R1は会話レコメンデーションシステムのエンドツーエンドトレーニングのための2段階のフレームワークである。 ステージ1では,Remap-Reflect-Adjustパイプラインを用いた行動閉鎖データセットを構築した。 ステージ2では,グループ相対政策最適化の原則的拡張である Rank-GRPO を提案する。
  論文  参考訳（メタデータ） (2025-10-23T02:56:00Z)
• ARES: Alternating Reinforcement Learning and Supervised Fine-Tuning for Enhanced Multi-Modal Chain-of-Thought Reasoning Through Diverse AI Feedback [13.154512864498912]
  強化学習(RL)と教師付きファインチューニング(SFT)を交互に行う2段階アルゴリズムARESを提案する。 第一に、我々は教師に、各文が問題の解決にどれだけ貢献するかを、CoT(Chain-of-Thought)で得点するように要求する。 次に,教師にRL後の誤った推論の修正を依頼する。補正フィードバックにより,SFTによるRL微調整モデルを安定化する。
  論文  参考訳（メタデータ） (2024-06-25T07:20:11Z)
• LiPO: Listwise Preference Optimization through Learning-to-Rank [62.02782819559389]
  ポリシーは、プロンプトによってランク付けされた妥当な応答のリストからより効果的に学習することができる。 LiPO-$lambda$ は DPO 変種と SLiC をいくつかの選好アライメントタスクにおいて明確なマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2024-02-02T20:08:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。