論文の概要: What Defines Good Reasoning in LLMs? Dissecting Reasoning Steps with Multi-Aspect Evaluation

• arxiv url: http://arxiv.org/abs/2510.20603v1
• Date: Thu, 23 Oct 2025 14:30:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:18.128997
• Title: What Defines Good Reasoning in LLMs? Dissecting Reasoning Steps with Multi-Aspect Evaluation
• Title（参考訳）: LLMにおける良い推論とは何か? マルチアスペクト評価による推論ステップの分離
• Authors: Heejin Do, Jaehui Hwang, Dongyoon Han, Seong Joon Oh, Sangdoo Yun,
• Abstract要約: 我々は推論品質を関連性と一貫性の2つの次元に分解する。 これらの側面を確実に測定するために、因果的段階評価(CaSE)を導入する。 トレーニングデータをCaSEで評価した妥当性とコヒーレンスでキュレートすることで、最終タスクのパフォーマンスが向上することを示す。
• 参考スコア（独自算出の注目度）: 67.47463575774388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating large language models (LLMs) on final-answer correctness is the dominant paradigm. This approach, however, provides a coarse signal for model improvement and overlooks the quality of the underlying reasoning process. We argue that a more granular evaluation of reasoning offers a more effective path to building robust models. We decompose reasoning quality into two dimensions: relevance and coherence. Relevance measures if a step is grounded in the problem; coherence measures if it follows logically from prior steps. To measure these aspects reliably, we introduce causal stepwise evaluation (CaSE). This method assesses each reasoning step using only its preceding context, which avoids hindsight bias. We validate CaSE against human judgments on our new expert-annotated benchmarks, MRa-GSM8K and MRa-MATH. More importantly, we show that curating training data with CaSE-evaluated relevance and coherence directly improves final task performance. Our work provides a scalable framework for analyzing, debugging, and improving LLM reasoning, demonstrating the practical value of moving beyond validity checks.
• Abstract（参考訳）: 大きな言語モデル(LLM)を最終回答の正確性で評価することが支配的なパラダイムである。 しかし、このアプローチはモデル改善のための粗い信号を提供し、基礎となる推論プロセスの品質を見落としている。 推論のより詳細な評価は、ロバストなモデルを構築するためのより効果的な経路を提供する、と我々は主張する。 我々は推論品質を関連性と一貫性の2つの次元に分解する。 関連性は、あるステップが問題に根付いていれば測定し、コヒーレンスは前ステップから論理的に従えば測定する。 これらの側面を確実に測定するために,因果的段階評価(CaSE)を導入する。 本手法は, 後視バイアスを回避した先行コンテキストのみを用いて, 各推論ステップを評価する。 我々は、新しい専門家によるベンチマークであるMRa-GSM8KとMRa-MATHで、人的判断に対するCaSEの有効性を検証する。 より重要なことは、CaSEが評価した妥当性とコヒーレンスでトレーニングデータをキュレートすることで、最終タスクのパフォーマンスが向上することである。 我々の研究は、LCM推論を分析し、デバッグし、改善するためのスケーラブルなフレームワークを提供し、妥当性チェックを超えて、実践的な価値を示す。

関連論文リスト

• FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving [90.88021670297664]
  FINEREASONは、大規模言語モデルの推論能力を評価するための論理パズルベンチマークである。 状態チェックと状態遷移という2つのタスクを導入し、モデルが現在の状況をどのように評価するかを総合的に評価し、次の動きを計画する。 状態チェックと遷移データに基づいてトレーニングされたモデルでは、GSM8Kで最大5.1%の精度で数学推論が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-27T16:23:25Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 ReasonEvalはメタ評価データセットのベースライン手法よりも一貫して優れていることを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)
• OVM, Outcome-supervised Value Models for Planning in Mathematical Reasoning [15.59540726867483]
  我々は、ガイド付き復号法では、ステップごとの正当性を保証するよりも、不完全推論経路の可能性を評価する方が有利であると主張している。 誘導復号化のための$textitoutcomeの監督が本質的に価値モデルとして機能するという発見に触発されて、アウトカム管理価値モデル(OVM)を提案する。 GSM8KとGame of 24の2つの多段階数学的推論データセットに対する実験により,OVMモデルの優れた性能が示された。
  論文  参考訳（メタデータ） (2023-11-16T09:56:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。