論文の概要: DSR-Bench: Evaluating the Structural Reasoning Abilities of LLMs via Data Structures

• arxiv url: http://arxiv.org/abs/2505.24069v1
• Date: Thu, 29 May 2025 23:24:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.701769
• Title: DSR-Bench: Evaluating the Structural Reasoning Abilities of LLMs via Data Structures
• Title（参考訳）: DSR-Bench:データ構造を用いたLLMの構造推論能力の評価
• Authors: Yu He, Yingxi Li, Colin White, Ellen Vitercik,
• Abstract要約: 大規模言語モデル(LLM)は、データ操作を基本とする現実世界のタスクに対して、ますます多くデプロイされている。 中心となる要件は、構造的推論(つまり、データ関係を理解し、推論する)を実行する能力である。 データ構造を通してLLMの構造的推論能力を評価する新しいベンチマークであるDSR-Benchを紹介する。
• 参考スコア（独自算出の注目度）: 20.596558700597644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly deployed for real-world tasks that fundamentally involve data manipulation. A core requirement across these tasks is the ability to perform structural reasoning--that is, to understand and reason about data relationships. For example, customer requests require a temporal ordering, which can be represented by data structures such as queues. However, existing benchmarks primarily focus on high-level, application-driven evaluations without isolating this fundamental capability. To address this gap, we introduce DSR-Bench, a novel benchmark evaluating LLMs' structural reasoning capabilities through data structures, which provide interpretable representations of data relationships. DSR-Bench includes 20 data structures, 35 operations, and 4,140 problem instances, organized hierarchically for fine-grained analysis of reasoning limitations. Our evaluation pipeline is fully automated and deterministic, eliminating subjective human or model-based judgments. Its synthetic nature also ensures scalability and minimizes data contamination risks. We benchmark nine state-of-the-art LLMs. Our analysis shows that instruction-tuned models struggle with basic multi-attribute and multi-hop reasoning. Furthermore, while reasoning-oriented models perform better, they remain fragile on complex and hybrid structures, with the best model achieving an average score of only 47% on the challenge subset. Crucially, models often perform poorly on multi-dimensional data and natural language task descriptions, highlighting a critical gap for real-world deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、データ操作を基本とする現実世界のタスクに対して、ますます多くデプロイされている。 これらのタスクにまたがる中核的な要件は、構造的推論、すなわち、データ関係を理解し、推論する能力である。 例えば、顧客の要求には、キューなどのデータ構造で表現可能な、一時的な順序付けが必要です。 しかし、既存のベンチマークは主に、この基本的な機能を分離することなく、高レベルのアプリケーション駆動評価に焦点を当てている。 DSR-Benchは、データ構造を通してLLMの構造的推論能力を評価する新しいベンチマークであり、データ関係の解釈可能な表現を提供する。 DSR-Benchには、20のデータ構造、35の操作、および4140の問題インスタンスが含まれており、推論制限のきめ細かい分析のために階層的に構成されている。 評価パイプラインは完全に自動化され、決定論的であり、主観的な人間またはモデルに基づく判断を排除します。 その合成特性はスケーラビリティを保証し、データの汚染リスクを最小限にする。 我々は9つの最先端LCMをベンチマークする。 分析の結果,命令調整モデルでは,基本的マルチ属性とマルチホップ推論に苦慮していることがわかった。 さらに、推論指向モデルの性能は向上するが、複雑な構造やハイブリッド構造では脆弱であり、最も優れたモデルはチャレンジサブセットの平均スコアが47%に留まる。 重要なことに、モデルは多次元のデータや自然言語のタスク記述でよく機能しておらず、現実のデプロイメントにおいて重要なギャップを浮き彫りにしている。

関連論文リスト

• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Structured Prompting and Feedback-Guided Reasoning with LLMs for Data Interpretation [0.0]
  大規模言語モデル(LLM)は、自然言語の理解とタスクの一般化において顕著な能力を示した。 本稿では、構造化されたプロンプトおよびフィードバック駆動型変換ロジック生成手法であるSTROT Frameworkを紹介する。
  論文  参考訳（メタデータ） (2025-05-03T00:05:01Z)
• Large Language Models Meet Symbolic Provers for Logical Reasoning Evaluation [24.081573908824353]
  一階述語論理(FOL)推論はインテリジェントシステムにおいて重要である。 既存のベンチマークは、広範囲の人間のアノテーションや手作りテンプレートに依存していることが多い。 本稿では,大言語モデルの生成強度を記号型プローサの厳密性と精度で相乗化するProverGenという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-10T15:31:54Z)
• TARGA: Targeted Synthetic Data Generation for Practical Reasoning over Structured Data [9.390415313514762]
  TARGAは、手動のアノテーションなしで高関連性合成データを生成するフレームワークである。 これは、クローズソースモデルを使用する既存の非微調整手法よりも大幅に優れている。 非I.I.D.設定下では、優れたサンプル効率、堅牢性、一般化能力を示す。
  論文  参考訳（メタデータ） (2024-12-27T09:16:39Z)
• StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
  StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。 評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。 StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
  論文  参考訳（メタデータ） (2024-12-23T22:08:40Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
  大規模言語モデル(LLM)は、様々な領域でますます重要になっている。 BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。 BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2024-10-01T15:11:24Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。