論文の概要: TurnBench-MS: A Benchmark for Evaluating Multi-Turn, Multi-Step Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.01341v1
• Date: Mon, 02 Jun 2025 05:47:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.724433
• Title: TurnBench-MS: A Benchmark for Evaluating Multi-Turn, Multi-Step Reasoning in Large Language Models
• Title（参考訳）: TurnBench-MS:大規模言語モデルにおけるマルチスレッド・マルチステップ推論の評価ベンチマーク
• Authors: Yiran Zhang, Mo Wang, Xiaoyang Li, Kaixuan Ren, Chencheng Zhu, Usman Naseem,
• Abstract要約: 本論文では,対話型コードブレークタスクによるマルチターン・マルチステップ推論を評価する新しいベンチマークであるTurnBenchを紹介する。 各エピソードにおいて、モデルはシーケンシャルな推測を行い、構造化されたフィードバックを受け取り、複数のラウンドで手がかりを統合することによって、隠れた論理的または算術的なルールを明らかにする必要がある。 TurnBenchには、標準推論をテストするClassicと、複雑さを増し堅牢な推論チェーンを必要とするNightmareの2つのモードがある。
• 参考スコア（独自算出の注目度）: 5.6525926183880255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite impressive advances in large language models (LLMs), existing benchmarks often focus on single-turn or single-step tasks, failing to capture the kind of iterative reasoning required in real-world settings. To address this limitation, we introduce TurnBench, a novel benchmark that evaluates multi-turn, multi-step reasoning through an interactive code-breaking task inspired by a "Turing Machine Board Game." In each episode, a model must uncover hidden logical or arithmetic rules by making sequential guesses, receiving structured feedback, and integrating clues across multiple rounds. This dynamic setup requires models to reason over time, adapt based on past information, and maintain consistency across steps-capabilities underexplored in current benchmarks. TurnBench includes two modes: Classic, which tests standard reasoning, and Nightmare, which introduces increased complexity and requires robust inferential chains. To support fine-grained analysis, we provide ground-truth annotations for intermediate reasoning steps. Our evaluation of state-of-the-art LLMs reveals significant gaps: the best model achieves 81.5% accuracy in Classic mode, but performance drops to 17.8% in Nightmare mode. In contrast, human participants achieve 100% in both, underscoring the challenge TurnBench poses to current models. By incorporating feedback loops and hiding task rules, TurnBench reduces contamination risks and provides a rigorous testbed for diagnosing and advancing multi-step, multi-turn reasoning in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の目覚ましい進歩にもかかわらず、既存のベンチマークはしばしばシングルターンやシングルステップのタスクに焦点を合わせており、現実世界の設定で必要とされる反復的推論を捉えていない。 この制限に対処するために、我々はTurnBenchという、"Turing Machine Board Game"にインスパイアされたインタラクティブなコードブレークタスクを通じて、マルチターン、マルチステップ推論を評価する新しいベンチマークを紹介した。 各エピソードにおいて、モデルはシーケンシャルな推測を行い、構造化されたフィードバックを受け取り、複数のラウンドで手がかりを統合することによって、隠れた論理的または算術的なルールを明らかにする必要がある。 この動的セットアップでは、時間とともに推論し、過去の情報に基づいて適応し、現在のベンチマークで探索されたステップ能力間の一貫性を維持する必要がある。 TurnBenchには、標準推論をテストするClassicと、複雑さを増し堅牢な推論チェーンを必要とするNightmareの2つのモードがある。 微粒化解析を支援するため,中間的推論ステップに対する地平線アノテーションを提供する。 最高のモデルでは、クラシックモードでは81.5%の精度が得られるが、Nightmareモードでは17.8%に低下する。 対照的に、人間の参加者はどちらも100%を達成しており、現在のモデルに対するTurnBenchの課題を裏付けている。 フィードバックループの導入とタスクルールの隠蔽により、TurnBenchは汚染リスクを低減し、LLMにおけるマルチステップ・マルチターン推論の診断と進展のための厳密なテストベッドを提供する。

関連論文リスト

• MTR-Bench: A Comprehensive Benchmark for Multi-Turn Reasoning Evaluation [56.87891213797931]
  大規模言語モデルに対するMTR-Benchの評価について述べる。 4つのクラス、40のタスク、3600のインスタンスを含むMTR-Benchは、様々な推論機能をカバーする。 MTR-Benchは、データセットの構築とモデル評価の両方にまたがる、完全に自動化されたフレームワークを備えている。
  論文  参考訳（メタデータ） (2025-05-21T17:59:12Z)
• FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving [90.88021670297664]
  FINEREASONは、大規模言語モデルの推論能力を評価するための論理パズルベンチマークである。 状態チェックと状態遷移という2つのタスクを導入し、モデルが現在の状況をどのように評価するかを総合的に評価し、次の動きを計画する。 状態チェックと遷移データに基づいてトレーニングされたモデルでは、GSM8Kで最大5.1%の精度で数学推論が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-27T16:23:25Z)
• LR$^2$Bench: Evaluating Long-chain Reflective Reasoning Capabilities of Large Language Models via Constraint Satisfaction Problems [7.379503137362718]
  我々はLong-chain Reflective Reasoning capabilities of Large Language Models (LLMs)を評価するために設計された新しいベンチマークLR$2$Benchを紹介する。 実験結果から,DeepSeek-R1やOpenAI o1-previewのような先進的な推論モデルでさえ,LR$2$Benchのタスクと競合することが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-25T04:51:17Z)
• WILT: A Multi-Turn, Memorization-Robust Inductive Logic Benchmark for LLMs [0.8883751685905831]
  メモリ化に抵抗するように設計された,シンプルなマルチターン推論ベンチマークである Wason Inductive Logic Test (WILT) を紹介する。 以上の結果から,LSMはこの課題に苦しむことが明らかとなった。 これらの変動にもかかわらず、最高の性能モデルは28%の精度しか達成せず、複雑なマルチターン推論タスクにおけるLLM性能の重大なギャップを浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-10-14T18:29:13Z)
• HELMET: How to Evaluate Long-Context Language Models Effectively and Thoroughly [34.205934899868346]
  HELMETは7つの多様なアプリケーション中心のカテゴリを包含する総合ベンチマークである。 NIAHのような合成タスクは、下流のパフォーマンスを確実に予測できない。 ほとんどのLCLMは完全なNIAHスコアを達成しているが、タスクが完全コンテキスト推論を必要とする場合、オープンソースモデルはクローズドなスコアよりも大幅に遅れている。
  論文  参考訳（メタデータ） (2024-10-03T17:20:11Z)
• LiveBench: A Challenging, Contamination-Limited LLM Benchmark [93.57775429120488]
  最近の情報ソースから頻繁に更新された質問を含む最初のベンチマークであるLiveBenchをリリースする。 我々は、多くの著名なクローズドソースモデルと、0.5Bから405Bまでの数十のオープンソースモデルを評価した。 質問は毎月追加され、更新され、時間とともに新しいタスクとより難しいタスクをリリースします。
  論文  参考訳（メタデータ） (2024-06-27T16:47:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。