論文の概要: Reinforcing Question Answering Agents with Minimalist Policy Gradient Optimization

• arxiv url: http://arxiv.org/abs/2505.17086v1
• Date: Tue, 20 May 2025 18:33:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.544449
• Title: Reinforcing Question Answering Agents with Minimalist Policy Gradient Optimization
• Title（参考訳）: 最小限ポリシー勾配最適化による質問応答エージェントの強化
• Authors: Yihong Wu, Liheng Ma, Muzhi Li, Jiaming Zhou, Jianye Hao, Ho-fung Leung, Irwin King, Yingxue Zhang, Jian-Yun Nie,
• Abstract要約: Mujicaは、質問をサブクエストの非循環グラフに分解するプランナーであり、検索と推論を通じて質問を解決するワーカーである。 MyGOは、従来のポリシー更新を勾配的いいねりの最大推定に置き換える、新しい強化学習手法である。 複数のデータセットにまたがる実験結果から,マルチホップQA性能向上における MujicaMyGO の有効性が示された。
• 参考スコア（独自算出の注目度）: 80.09112808413133
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable versatility, due to the lack of factual knowledge, their application to Question Answering (QA) tasks remains hindered by hallucination. While Retrieval-Augmented Generation mitigates these issues by integrating external knowledge, existing approaches rely heavily on in-context learning, whose performance is constrained by the fundamental reasoning capabilities of LLMs. In this paper, we propose Mujica, a Multi-hop Joint Intelligence for Complex Question Answering, comprising a planner that decomposes questions into a directed acyclic graph of subquestions and a worker that resolves questions via retrieval and reasoning. Additionally, we introduce MyGO (Minimalist policy Gradient Optimization), a novel reinforcement learning method that replaces traditional policy gradient updates with Maximum Likelihood Estimation (MLE) by sampling trajectories from an asymptotically optimal policy. MyGO eliminates the need for gradient rescaling and reference models, ensuring stable and efficient training. Empirical results across multiple datasets demonstrate the effectiveness of Mujica-MyGO in enhancing multi-hop QA performance for various LLMs, offering a scalable and resource-efficient solution for complex QA tasks.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 事実知識の欠如から, 幻覚による質問応答 (QA) タスクへの適用が妨げられている。 Retrieval-Augmented Generationは、外部知識を統合することでこれらの問題を緩和するが、既存のアプローチは、LLMの基本的な推論能力によって性能が制約されるコンテキスト内学習に大きく依存する。 本稿では,質問を非巡回グラフに分解するプランナーと,質問を検索と推論によって解決する作業者からなる,複合質問回答のための多機能統合知能システムであるMujicaを提案する。 また, 漸近的最適政策から軌跡をサンプリングすることにより, 従来の政策勾配更新を最大類似度推定(MLE)に置き換える新しい強化学習手法であるMyGO(Minimalist policy Gradient Optimization)を導入する。 MyGOは、勾配再スケーリングと参照モデルの必要性を排除し、安定的で効率的なトレーニングを保証する。 複数のデータセットにまたがる実証的な結果は、複雑なQAタスクに対してスケーラブルでリソース効率のよいソリューションを提供する様々なLLMのマルチホップQAパフォーマンスを向上させる上で、Mujica-MyGOの有効性を示している。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Review-Then-Refine: A Dynamic Framework for Multi-Hop Question Answering with Temporal Adaptability [19.722009684115434]
  Retrieve-augmented Generation (RAG) フレームワークがマルチホップ質問応答(QA)タスクの有望なソリューションとして登場した。 既存のRAGフレームワークは、通常、検索対象のパラダイムに従っており、時間情報を持つマルチホップQAと競合することが多い。 本稿では,マルチホップQAシナリオにおけるLLMの性能向上を目的とした,Review-then-refineと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T17:48:23Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [49.362750475706235]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Addressing the issue of stochastic environments and local decision-making in multi-objective reinforcement learning [0.0]
  多目的強化学習(MORL)は、従来の強化学習(RL)に基づく比較的新しい分野である。 この論文は、価値に基づくMORL Q-learningアルゴリズムが環境の最適ポリシーを学習する頻度に影響を与える要因に焦点を当てている。
  論文  参考訳（メタデータ） (2022-11-16T04:56:42Z)
• KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive Question Answering [28.18555591429343]
  我々はKECP(Knowledge Enhanced Contrastive Prompt-tuning)という新しいフレームワークを提案する。 PLMにポインタヘッドを追加する代わりに、タスクを非自己回帰型マスケッド言語モデリング(MLM)生成問題に変換する。 提案手法は,数ショット設定における最先端のアプローチを大きなマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2022-05-06T08:31:02Z)
• Simultaneously Evolving Deep Reinforcement Learning Models using Multifactorial Optimization [18.703421169342796]
  この研究は、関連する強化学習タスクの解決に向けて、複数のDQLモデルを同時に進化させることのできるフレームワークを提案する。 フレームワークの性能を評価するために、徹底的な実験を行い、議論する。
  論文  参考訳（メタデータ） (2020-02-25T10:36:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。