論文の概要: VerifierQ: Enhancing LLM Test Time Compute with Q-Learning-based Verifiers

• arxiv url: http://arxiv.org/abs/2410.08048v1
• Date: Thu, 10 Oct 2024 15:43:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 05:45:05.986012
• Title: VerifierQ: Enhancing LLM Test Time Compute with Q-Learning-based Verifiers
• Title（参考訳）: VerifierQ: Q-Learning-based Verifiers による LLM テスト時間計算の強化
• Authors: Jianing Qi, Hao Tang, Zhigang Zhu,
• Abstract要約: VerifierQは、オフラインQ学習を検証モデルに統合する新しいアプローチである。 LLMにQ-learningを適用する上での3つの課題に対処する。 本手法は,並列Q値計算と学習効率の向上を実現する。
• 参考スコア（独自算出の注目度）: 7.7705926659081275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in test time compute, particularly through the use of verifier models, have significantly enhanced the reasoning capabilities of Large Language Models (LLMs). This generator-verifier approach closely resembles the actor-critic framework in reinforcement learning (RL). However, current verifier models in LLMs often rely on supervised fine-tuning without temporal difference learning such as Q-learning. This paper introduces VerifierQ, a novel approach that integrates Offline Q-learning into LLM verifier models. We address three key challenges in applying Q-learning to LLMs: (1) handling utterance-level Markov Decision Processes (MDPs), (2) managing large action spaces, and (3) mitigating overestimation bias. VerifierQ introduces a modified Bellman update for bounded Q-values, incorporates Implicit Q-learning (IQL) for efficient action space management, and integrates a novel Conservative Q-learning (CQL) formulation for balanced Q-value estimation. Our method enables parallel Q-value computation and improving training efficiency. While recent work has explored RL techniques like MCTS for generators, VerifierQ is among the first to investigate the verifier (critic) aspect in LLMs through Q-learning. This integration of RL principles into verifier models complements existing advancements in generator techniques, potentially enabling more robust and adaptive reasoning in LLMs. Experimental results on mathematical reasoning tasks demonstrate VerifierQ's superior performance compared to traditional supervised fine-tuning approaches, with improvements in efficiency, accuracy and robustness. By enhancing the synergy between generation and evaluation capabilities, VerifierQ contributes to the ongoing evolution of AI systems in addressing complex cognitive tasks across various domains.
• Abstract（参考訳）: 近年の試験時間計算の進歩、特に検証モデルの使用により、Large Language Models (LLMs) の推論能力は大幅に向上した。 このジェネレータ検証手法は、強化学習(RL)におけるアクター批判フレームワークによく似ている。 しかし、LLMの現在の検証モデルは、Qラーニングのような時間差学習を伴わない教師付き微調整に依存していることが多い。 本稿では,オフラインQ学習をLLM検証モデルに統合する新しいアプローチであるVerifierQを紹介する。 1)発話レベルマルコフ決定過程(MDP)の処理,(2)大規模行動空間の管理,(3)過大評価バイアスの軽減,の3つの課題に対処する。 VerifierQは、境界Q値に対する修正されたベルマン更新を導入し、効率的なアクション空間管理のためにImplicit Q-learning(IQL)を導入し、バランスの取れたQ-value推定のために新しい保守的Q-learning(CQL)を統合した。 本手法は,並列Q値計算と学習効率の向上を実現する。 近年の研究では、ジェネレータ用のMCTSのようなRL技術について検討されているが、VerifierQは、Qラーニングを通じてLLMの検証(批判)の側面を初めて研究している。 この検証モデルへのRL原理の統合は、ジェネレータ技術の既存の進歩を補完し、LLMのより堅牢で適応的な推論を可能にする可能性がある。 数学的推論タスクの実験結果は、VerifierQが従来の教師付き微調整アプローチに比べて優れた性能を示し、効率、正確性、堅牢性が改善された。 生成と評価機能の相乗効果を高めることにより、VerifierQは、さまざまな領域にわたる複雑な認知タスクに対処する上で、AIシステムの継続的な進化に貢献している。

関連論文リスト

• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Quantum Machine Learning Architecture Search via Deep Reinforcement Learning [8.546707309430593]
  教師付き学習タスクに適した有能なQMLモデルアーキテクチャを探索するために、深層強化学習を導入する。 我々の手法は、所定のアンザッツを使わずにQMLモデルの発見を容易にするポリシーを考案するために、RLエージェントを訓練することを含む。 提案手法は,ゲート深さを最小化しながら高い分類精度を達成できるVQCアーキテクチャの同定に成功している。
  論文  参考訳（メタデータ） (2024-07-29T16:20:51Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Challenges for Reinforcement Learning in Quantum Circuit Design [8.894627352356302]
  ハイブリッド量子機械学習(QML)は、機械学習(ML)を改善するためのQCの応用と、QCアーキテクチャを改善するためのMLの両方を含む。 我々はマルコフ決定過程として定式化された具体的なフレームワークであるqcd-gymを提案し、連続パラメータ化された量子ゲートの普遍的なセットを制御することができる学習ポリシーを実現する。
  論文  参考訳（メタデータ） (2023-12-18T16:41:30Z)
• Efficient quantum recurrent reinforcement learning via quantum reservoir computing [3.6881738506505988]
  量子強化学習(QRL)は、シーケンシャルな意思決定タスクを解決するためのフレームワークとして登場した。 本研究は、QRNNベースの量子長短期メモリ(QLSTM)を用いたQRLエージェントの構築により、この課題に対処する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-13T22:18:38Z)
• Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs [50.75812033462294]
  我々は,Q-ラーニングの実践的成功と悲観的理論的結果とのギャップを埋める。 本稿では,新しいQ-Rex法とQ-RexDaReを提案する。 Q-Rex は線形 MDP の最適ポリシを効率的に見つけることができる。
  論文  参考訳（メタデータ） (2021-10-16T01:47:41Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)
• Conservative Q-Learning for Offline Reinforcement Learning [106.05582605650932]
  CQLは既存のオフラインRLメソッドよりも大幅に優れており、多くの場合、ファイナルリターンの2～5倍高いポリシを学習しています。 理論的には、CQLは現在のポリシーの価値の低いバウンダリを生成し、理論的改善保証を伴う政策学習手順に組み込むことができることを示す。
  論文  参考訳（メタデータ） (2020-06-08T17:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。