論文の概要: Beyond Reward Scoring: Online Multi-Agent Preference Learning for Multimodal Response Generation

• arxiv url: http://arxiv.org/abs/2610.23256v1
• Date: Fri, 16 Oct 2026 10:28:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.875072
• Title: Beyond Reward Scoring: Online Multi-Agent Preference Learning for Multimodal Response Generation
• Title（参考訳）: Reward Scoring:マルチモーダル応答生成のためのオンラインマルチエージェント推論学習
• Abstract要約: マルチモーダルな選好アライメントはしばしばスコアベースのRLHFパイプラインに従う。 モデルはより高い嗜好スコアで回答を導き出すことができるが、人間の嗜好の根底にある理由を学習するために明示的に訓練されることは滅多にない。 反応モデルの内部能力を優先的に理解することで、その生成が向上するかどうかを問う。
• 参考スコア（独自算出の注目度）: 31.267994791422307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal preference alignment often follows a score-based RLHF pipeline: a reward model is first trained to learn human preferences, then used to score on-policy responses and optimize the response model's generation. This turns preference supervision into a scalar signal for generation: a model may learn to produce answers with higher preference scores, but is rarely trained explicitly to learn the reasons underlying human preferences. We therefore ask whether making preference understanding an internal capability of the response model can improve its generation. To investigate this question, we propose \textbf{PrefMind}, an online dual-agent reinforcement learning framework with two trainable agents: a response Generator and a preference Critic. Given a pair of candidate responses, the agents analyze and discuss which response better aligns with human preference. Human labels supervise their judgments and corrections. For pairs on which both the Generator and revised Critic correctly identify the human-preferred response, the Generator produces an improved answer, and the Critic compares it against the original preferred response to provide a generation reward. Both agents are jointly updated from interactions sampled with their current policies. Through this process, \textbf{PrefMind} trains the Generator to understand human preferences via explicit judgment and correction, and to translate this understanding into better responses. Experiments across three model scales show improvements in both standalone preference judgment and downstream response generation.
• Abstract（参考訳）: 報酬モデルは、まず人間の好みを学習するために訓練され、その後、政治上の反応をスコアし、応答モデルの生成を最適化するために使用される。 モデルはより高い選好スコアで回答を生成することを学習するが、人間の選好の根底にある理由を学ぶために明示的に訓練されることは滅多にない。 そこで我々は、応答モデルの内部能力を優先的に理解させることが、その生成を改善するかどうかを問う。 そこで本研究では,2つのトレーニング可能なエージェント(応答生成器と選好批判器)を備えたオンライン二重エージェント強化学習フレームワークである「textbf{PrefMind}」を提案する。 候補となる2つの反応が与えられた場合、エージェントは、どの反応が人間の好みとよく一致しているかを分析し、議論する。 人間のラベルは判断と修正を監督する。 ジェネレータと修正された批評家の両方が人間の優先応答を正しく識別するペアに対して、ジェネレータは改善された回答を生成し、Cryticはそれを元の推奨応答と比較して生成報酬を提供する。 どちらのエージェントも、現在のポリシーでサンプリングされた相互作用から共同で更新される。 このプロセスを通じて、 \textbf{PrefMind}はジェネレータに明示的な判断と修正を通じて人間の好みを理解し、この理解をより良い応答に変換するよう訓練する。 3つのモデルスケールにわたる実験は、スタンドアローンの選好判断とダウンストリームの応答生成の両方の改善を示す。

関連論文リスト

• Robust Preference Alignment via Directional Neighborhood Consensus [13.313830197011983]
  本稿では,指向性近傍のコンセンサスを利用したポストホックなトレーニングフリー手法であるRobust Preference Selection(RPS)を紹介する。 RPSは、関連する好みの地域からの複数の応答をサンプリングし、優れた候補プールを作成する。 本研究は, 嗜好整合モデルの信頼性を高めるための, 実用的, 理論的に基礎的なソリューションを提案する。
  論文  参考訳（メタデータ） (2025-10-23T12:39:20Z)
• More is Less: The Pitfalls of Multi-Model Synthetic Preference Data in DPO Safety Alignment [80.04449725137177]
  直接選好最適化(DPO)は、人間のフィードバックによる強化学習の、シンプルで効果的な代替手段として登場した。 我々の研究は、DPOアライメントに関連する、目覚ましい、安全性に特有な現象を明らかにした。 選択されたペアと拒否されたペアに対してのみ自己生成されたレスポンスを使用することで、より強力なモデルからのレスポンスを含む構成を大幅に上回る。
  論文  参考訳（メタデータ） (2025-04-03T00:36:40Z)
• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• RRHF: Rank Responses to Align Language Models with Human Feedback without tears [69.68672043223249]
  InstructGPTは、SFT(Supervised Fine-Tuning)、報酬モデルトレーニング、PPO(Proximal Policy Optimization)など、いくつかの段階を通じてRLHFを実装している。 本稿では,条件付き確率の対数を用いて,異なるソースからのサンプル応答をスコアするRRHFという新しい学習パラダイムを提案する。 我々は、Helpful and Harmlessデータセット上でRRHFを評価し、報酬モデルスコアと人間ラベルによるPPOと同等のアライメント性能を示す。
  論文  参考訳（メタデータ） (2023-04-11T15:53:40Z)
• Improving Response Quality with Backward Reasoning in Open-domain Dialogue Systems [53.160025961101354]
  本稿では,バニラエンコーダデコーダトレーニングに後方推論ステップを追加することで,生成モデルを双方向にトレーニングすることを提案する。 提案する後方推論ステップは、モデルがより有益で一貫性のあるコンテンツを生成するように促す。 副次的な情報を導入することなく応答品質を向上させることができる。
  論文  参考訳（メタデータ） (2021-04-30T20:38:27Z)
• Dialogue Response Ranking Training with Large-Scale Human Feedback Data [52.12342165926226]
  ソーシャルメディアのフィードバックデータを利用して、フィードバック予測のための大規模なトレーニングデータセットを構築します。 我々は,1300万対の人間のフィードバックデータに基づくGPT-2モデルであるDialogRPTを訓練した。 我々のランキングは、Redditのフィードバックを予測する上で、従来のダイアログの難易度ベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-15T10:50:05Z)
• EnsembleGAN: Adversarial Learning for Retrieval-Generation Ensemble Model on Short-Text Conversation [37.80290058812499]
  アンサンブルGANは、オープンドメイン会話シナリオにおいて、検索世代アンサンブルモデルを強化するための逆学習フレームワークである。 言語モデルのようなジェネレータ、ランカジェネレータ、ランカディミネーターで構成されている。
  論文  参考訳（メタデータ） (2020-04-30T05:59:12Z)
• Posterior-GAN: Towards Informative and Coherent Response Generation with Posterior Generative Adversarial Network [38.576579498740244]
  我々は,新しいエンコーダデコーダに基づく生成逆学習フレームワーク,Posterior Generative Adversarial Network (Posterior-GAN)を提案する。 実験結果から,本手法は自動評価と人的評価の両方において,生成した応答の情報性とコヒーレンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2020-03-04T11:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。