論文の概要: Scaling Evaluation-time Compute with Reasoning Models as Process Evaluators

• arxiv url: http://arxiv.org/abs/2503.19877v1
• Date: Tue, 25 Mar 2025 17:41:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:50:06.480593
• Title: Scaling Evaluation-time Compute with Reasoning Models as Process Evaluators
• Title（参考訳）: プロセス評価器としての推論モデルによる評価時間計算のスケーリング
• Authors: Seungone Kim, Ian Wu, Jinu Lee, Xiang Yue, Seongyun Lee, Mingyeong Moon, Kiril Gashteovski, Carolin Lawrence, Julia Hockenmaier, Graham Neubig, Sean Welleck,
• Abstract要約: 本研究では,長鎖推論を評価対象とする推論モデル-LMの導入について検討する。 実験では,より多くの推論トークンを生成する際に,評価器の性能が単調に向上することが観察された。 評価時により多くの計算を費やすことは、LMの問題解決能力を改善するために、世代毎により多くの計算を使用するのと同じくらい効果的であることを示す。
• 参考スコア（独自算出の注目度）: 66.32734442485801
• License:
• Abstract: As language model (LM) outputs get more and more natural, it is becoming more difficult than ever to evaluate their quality. Simultaneously, increasing LMs' "thinking" time through scaling test-time compute has proven an effective technique to solve challenging problems in domains such as math and code. This raises a natural question: can an LM's evaluation capability also be improved by spending more test-time compute? To answer this, we investigate employing reasoning models-LMs that natively generate long chain-of-thought reasoning-as evaluators. Specifically, we examine methods to leverage more test-time compute by (1) using reasoning models, and (2) prompting these models to evaluate not only the response as a whole (i.e., outcome evaluation) but also assess each step in the response separately (i.e., process evaluation). In experiments, we observe that the evaluator's performance improves monotonically when generating more reasoning tokens, similar to the trends observed in LM-based generation. Furthermore, we use these more accurate evaluators to rerank multiple generations, and demonstrate that spending more compute at evaluation time can be as effective as using more compute at generation time in improving an LM's problem-solving capability.
• Abstract（参考訳）: 言語モデル(LM)のアウトプットが自然になるにつれて、品質を評価することがこれまで以上に難しくなってきている。 同時に、LMの「思考」時間の増大は、テスト時間計算をスケールすることで、数学やコードといった分野の課題を解決する効果的な手法であることが証明された。 LMの評価能力は、より多くのテスト時間計算を使用することで改善できますか? そこで本研究では,長いチェーン・オブ・ソート・アズ・ア・評価器をネイティブに生成する推論モデル-LMの活用について検討する。 具体的には,(1)推論モデルを用いたテスト時間計算の活用方法を検討するとともに,(2)反応全体(結果評価)だけでなく,各ステップを別々(プロセス評価)に評価するよう促す。 実験では,LM生成の傾向と同様,より推論トークンを生成する際に,評価器の性能が単調に向上することが観察された。 さらに、これらのより正確な評価器を用いて、複数の世代を再現し、評価時により多くの計算を費やすことは、LMの問題解決能力を改善するために、世代時により多くの計算を使用するのと同じくらい効果的であることを示す。

関連論文リスト

• Mathematical Reasoning in Large Language Models: Assessing Logical and Arithmetic Errors across Wide Numerical Ranges [0.0]
  GSM-Rangesは、数学問題における数値を体系的に摂動させ、様々な数値スケールでモデルロバスト性を評価するデータセットジェネレータである。 また,論理的誤りと非論理的誤りを区別し,推論過程を計算精度以上の精度で評価する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-12T09:53:10Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs [76.43407125275202]
  o1のようなモデルは、推論中に人間のような長時間の思考をエミュレートすることができる。 本論文は,これらのモデルにおける過度な考察の課題に関する,最初の包括的研究である。 精度を損なうことなく、過剰思考を緩和し、推論プロセスを合理化するための戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-30T18:55:12Z)
• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters [27.656263126925815]
  LLMにおける推論時間計算のスケーリングについて検討する。 どちらの場合も、テスト時間計算のスケーリングに対する異なるアプローチの有効性は、プロンプトの難しさによって大きく異なることがわかった。
  論文  参考訳（メタデータ） (2024-08-06T17:35:05Z)
• Recursive Introspection: Teaching Language Model Agents How to Self-Improve [30.086494067593268]
  RISE: Recursive IntroSpEctionは,大規模言語モデルを微調整する手法である。 実験の結果,RISEはLlama2,Llama3,Mistralの各モデルに対して,数学推論タスクのターン数を増やすことで自己改善を可能にすることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T17:35:59Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。