論文の概要: Query Your Way Out: Benchmarking Multi-Turn Knowledge Reasoning through Generalized Puzzle Solving

• arxiv url: http://arxiv.org/abs/2610.16133v1
• Date: Mon, 12 Oct 2026 03:50:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.301439
• Title: Query Your Way Out: Benchmarking Multi-Turn Knowledge Reasoning through Generalized Puzzle Solving
• Title（参考訳）: クェリ・ユー・アウト:汎用的なパズル解法によるマルチターン知識推論のベンチマーク
• Abstract要約: 本稿では,対話型推論タスクとして概念識別をキャストすることで,パズル解法を一般化するActive Probing Benchmark(APB)を提案する。 APBは8つの異なる学術領域にまたがる特殊困難の概念を960点としている。
• 参考スコア（独自算出の注目度）: 8.299880588558763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Puzzles offer a natural testbed for Large Language Models (LLMs) reasoning because they pose verifiable goals under partial information and require multi-step decisions to reach a solution. However, existing puzzle benchmarks typically focus on narrow environments with rigid mechanics and tightly constrained solution targets. To bridge this gap, we introduce the Active Probing Benchmark (APB), which generalizes puzzle-solving by casting concept identification as an interactive reasoning task that integrates specialized knowledge assessment into the puzzle setting. Specifically, APB evaluates whether models can acquire information via multi-turn active probing and inference to pinpoint 960 target concepts of specialized difficulty across eight diverse academic domains. Our evaluation reveals a counter-intuitive phenomenon: most open-source reasoning models significantly underperform their standard instruction counterparts. This finding suggests that in interactive settings, these models struggle to leverage procedural reasoning to reliably access and apply specialized domain knowledge. Beyond these empirical insights, APB provides a scalable pipeline for generating benchmarks that probe knowledge reasoning under interaction across diverse settings.
• Abstract（参考訳）: PuzzlesはLarge Language Models(LLM)の推論に自然なテストベッドを提供する。 しかし、既存のパズルベンチマークは通常、厳密な力学と厳密な制約のあるソリューションターゲットを持つ狭い環境に焦点を当てている。 このギャップを埋めるために,概念識別を対話的推論タスクとしてキャストすることでパズル解決を一般化し,特殊知識評価をパズル設定に統合する能動探索ベンチマーク(APB)を導入する。 具体的には,モデルがマルチターンアクティブな探索と推測によって情報を取得することができるかどうかを評価し,8つの学術領域にまたがる特殊な難易度の概念を960の目標とする。 オープンソース推論モデルの多くは、標準命令モデルよりも大幅に性能が劣っている。 この発見は、対話的な環境では、これらのモデルは手続き的推論を活用して確実にアクセスし、専門的なドメイン知識を適用するのに苦労していることを示唆している。 これらの経験的な洞察の他に、ABBはさまざまな設定の相互作用の下で知識推論を探索するベンチマークを生成するためのスケーラブルなパイプラインを提供する。

関連論文リスト

• DPrivBench: Benchmarking LLMs' Reasoning for Differential Privacy [50.73304874527716]
  差分プライバシー(DP)は、データプライバシーを保護する幅広いアプリケーションを持っているが、DPアルゴリズムの設計と検証には専門家レベルの推論が必要である。 DPrivBenchは、各インスタンスが、ある関数やアルゴリズムが指定されたDP保証を満たすかどうかを問うベンチマークである。 実験によると、最強のモデルは教科書の仕組みをうまく扱えるが、全てのモデルは高度なアルゴリズムに苦しむ。
  論文  参考訳（メタデータ） (2026-04-17T09:03:11Z)
• Reasoning or Pattern Matching? Probing Large Vision-Language Models with Visual Puzzles [13.059313134998192]
  このサーベイは、LVLMにおける視覚パズル推論の統一的な視点を提供する。 共通の抽象化を通じて視覚パズルをフレーム化し、それらがターゲットとする推論メカニズムによって既存のベンチマークを編成する。 我々は、不安定な一般化、知覚と推論の密接な絡み合い、流動的な説明と忠実な実行の間の永続的なギャップなど、現在のモデルにおける一貫した限界を識別する。
  論文  参考訳（メタデータ） (2026-01-20T08:02:04Z)
• Thinker: Training LLMs in Hierarchical Thinking for Deep Search via Multi-Turn Interaction [57.67217258741752]
  Thinkerはマルチターンインタラクションによるディープ検索のための階層的思考モデルである。 複素問題を独立に解ける部分確率に分解する。 サブプロブレム間の依存関係は、これらの論理関数を介してパラメータとして渡される。
  論文  参考訳（メタデータ） (2025-11-11T07:48:45Z)
• From Passive to Active Reasoning: Can Large Language Models Ask the Right Questions under Incomplete Information? [34.959850282872594]
  LLMのアクティブな推論能力を評価するために設計された新しいベンチマークであるAR-Benchを提案する。 AR-Benchは3つのタスクファミリー検出ケース、状況パズル、推測数で構成される。 AR-ベンチに関する実証的な評価は、現代のLDMは活発な推論を伴う困難を顕著に示していることを示している。
  論文  参考訳（メタデータ） (2025-06-09T23:56:41Z)
• VisualPuzzles: Decoupling Multimodal Reasoning Evaluation from Domain Knowledge [45.20691825097646]
  私たちはビジュアル推論をターゲットとしたベンチマークであるVisualPuzzlesを紹介します。 VisualPuzzlesは5つのカテゴリにまたがる多様な質問で構成されている。
  論文  参考訳（メタデータ） (2025-04-14T15:50:39Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• SOK-Bench: A Situated Video Reasoning Benchmark with Aligned Open-World Knowledge [60.76719375410635]
  44Kの質問と10Kの状況からなる新しいベンチマーク(SOK-Bench)を提案する。 推論プロセスは、位置する知識と問題解決のための一般的な知識を理解し、適用するために必要である。 質問応答ペアと推論プロセスを生成し,最後に品質保証に関する手作業によるレビューを行った。
  論文  参考訳（メタデータ） (2024-05-15T21:55:31Z)
• Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
  既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。 提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
  論文  参考訳（メタデータ） (2023-09-12T14:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。