論文の概要: Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision

• arxiv url: http://arxiv.org/abs/2411.16579v1
• Date: Mon, 25 Nov 2024 17:11:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:24:44.559416
• Title: Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision
• Title（参考訳）: テスト時間とトレーニング時間による批判モデルによるLLM推論の強化
• Authors: Zhiheng Xi, Dingwen Yang, Jixuan Huang, Jiafu Tang, Guanyu Li, Yiwen Ding, Wei He, Boyang Hong, Shihan Do, Wenyu Zhan, Xiao Wang, Rui Zheng, Tao Ji, Xiaowei Shi, Yitao Zhai, Rongxiang Weng, Jingang Wang, Xunliang Cai, Tao Gui, Zuxuan Wu, Qi Zhang, Xipeng Qiu, Xuanjing Huang, Yu-Gang Jiang,
• Abstract要約: 本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
• 参考スコア（独自算出の注目度）: 120.40788744292739
• License:
• Abstract: Training large language models (LLMs) to spend more time thinking and reflection before responding is crucial for effectively solving complex reasoning tasks in fields such as science, coding, and mathematics. However, the effectiveness of mechanisms like self-reflection and self-correction depends on the model's capacity to accurately assess its own performance, which can be limited by factors such as initial accuracy, question difficulty, and the lack of external feedback. In this paper, we delve into a two-player paradigm that separates the roles of reasoning and critique models, where the critique model provides step-level feedback to supervise the reasoning (actor) model during both test-time and train-time. We first propose AutoMathCritique, an automated and scalable framework for collecting critique data, resulting in a dataset of $76,321$ responses paired with step-level feedback. Fine-tuning language models with this dataset enables them to generate natural language feedback for mathematical reasoning. We demonstrate that the critique models consistently improve the actor's performance on difficult queries at test-time, especially when scaling up inference-time computation. Motivated by these findings, we introduce the critique-based supervision to the actor's self-training process, and propose a critique-in-the-loop self-improvement method. Experiments show that the method improves the actor's exploration efficiency and solution diversity, especially on challenging queries, leading to a stronger reasoning model. Lastly, we take the preliminary step to explore training self-talk reasoning models via critique supervision and showcase its potential. Our code and datasets are at \href{https://mathcritique.github.io/}{https://mathcritique.github.io/}.
• Abstract（参考訳）: 科学、コーディング、数学などの分野において、複雑な推論タスクを効果的に解決するためには、大きな言語モデル(LLM)をトレーニングして、反応する前に思考と反射により多くの時間を費やすことが不可欠である。 しかし、自己回帰や自己補正のようなメカニズムの有効性は、初期精度、疑問の難しさ、外部からのフィードバックの欠如といった要因によって制限される、自身のパフォーマンスを正確に評価するモデルの能力に依存する。 本稿では,2段階の推論モデルと批判モデルの役割を分離する2段階のパラダイムを探求する。そこでは,批判モデルが段階的なフィードバックを提供し,テスト時間と列車時間の両方で推論モデル(アクター)を監督する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 このデータセットを用いた微調整言語モデルにより、数学的推論のための自然言語フィードバックを生成することができる。 評価モデルでは,特に推論時間計算のスケールアップにおいて,テスト時の難解なクエリに対するアクタの性能が常に向上していることが示されている。 これらの知見に触発されて,アクターの自己訓練プロセスに批判に基づく指導を導入し,ループによる自己改善手法を提案する。 実験により,本手法はアクターの探索効率と解の多様性,特に挑戦的なクエリにおいて向上し,より強力な推論モデルをもたらすことが示された。 最後に、批判的監督を通じて自己トーク推論モデルを訓練し、その可能性を示すための予備的なステップを採る。 私たちのコードとデータセットは \href{https://mathcritique.github.io/}{https://mathcritique.github.io/} にあります。

関連論文リスト

• SRA-MCTS: Self-driven Reasoning Augmentation with Monte Carlo Tree Search for Code Generation [14.786100203787194]
  大規模な言語モデルは、単純なコード生成タスクでは例外的なパフォーマンスを示しますが、複雑な問題に対処する上での課題に直面します。 本稿では,高品質な中間推論経路を自律的に生成するモデルであるSRA-MCTSを提案する。 我々の手法は、追加の監督を必要とせず、モデル自体を通して完全に機能する。
  論文  参考訳（メタデータ） (2024-11-17T12:31:04Z)
• CriticAL: Critic Automation with Language Models [31.1575961776287]
  Criticalは、モデル予測とデータ間の不一致をキャプチャする要約統計を生成する。 批評家は、誤った批判を幻覚させることなく確実に正しい批評を生成する。
  論文  参考訳（メタデータ） (2024-11-10T20:41:35Z)
• Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks [68.49251303172674]
  最先端の大規模言語モデル(LLM)は、目覚ましい問題解決能力を示すが、複雑な推論と事実の正しさに苦慮する可能性がある。 既存の手法では、チェーン・オブ・ソートと検索強化生成(RAG)の強みを利用して、複雑な問題をより単純なステップに分解し、検索を適用して事実の正しさを向上させる。 CR-Planner(CR-Planner, CR-Planner, CR-Planner)は, 微調整された批判モデルを利用して, 推論と検索の両方のプロセスを計画を通してガイドする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-02T11:26:02Z)
• Recursive Introspection: Teaching Language Model Agents How to Self-Improve [30.086494067593268]
  RISE: Recursive IntroSpEctionは,大規模言語モデルを微調整する手法である。 実験の結果,RISEはLlama2,Llama3,Mistralの各モデルに対して,数学推論タスクのターン数を増やすことで自己改善を可能にすることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T17:35:59Z)
• Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
  大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。 この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-04-26T03:41:28Z)
• Improving Language Model Reasoning with Self-motivated Learning [60.779625789039486]
  textitSelfをモチベーションとする学習フレームワークは、モデル自体をモチベーションとして、既存のデータセットで合理性を自動的に生成する。 我々は,有理数の品質を評価するためにランク付き報酬モデルを訓練し,強化学習による推論の性能向上を図る。
  論文  参考訳（メタデータ） (2024-04-10T14:05:44Z)
• Critique Ability of Large Language Models [38.34144195927209]
  本研究では,大規模言語モデル(LLM)が様々なタスクに対して正確な批評を提供する能力について検討する。 我々は,高品質な自然言語クエリとそれに対応するモデル応答からなるCriticBenchというベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-10-07T14:12:15Z)
• CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing [139.77117915309023]
  CRITICは、大規模な言語モデルに対して、ツールとのヒューマンインタラクションに似た方法で、自分たちのアウトプットの検証と修正を可能にする。 自由形式の質問応答、数学的プログラム合成、毒性低減を含む包括的評価は、CRITICがLLMの性能を一貫して向上することを証明している。
  論文  参考訳（メタデータ） (2023-05-19T15:19:44Z)
• Self-critiquing models for assisting human evaluators [11.1006983438712]
  我々は、行動クローンを用いて自然言語批判(自然言語批判コメント)を書くために、大きな言語モデルを微調整する。 トピックベースの要約タスクでは、私たちのモデルによって書かれた批判は、人間が見逃したであろう要約の欠陥を見つけるのに役立ちます。 より大きなモデルはより有用な批評を書くことができ、ほとんどのタスクでは、批判しにくいアウトプットがあるにもかかわらず、自己批判の方が優れている。
  論文  参考訳（メタデータ） (2022-06-12T17:40:53Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。