論文の概要: A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation

• arxiv url: http://arxiv.org/abs/2605.17278v1
• Date: Sun, 17 May 2026 06:14:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.824613
• Title: A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation
• Title（参考訳）: A2RBench: ベンチマーク生成を形式的に検証するための自動パラダイム
• Authors: Qingchuan Ma, Yuexiao Ma, Yongkang Xie, Tianyu Xie, Xiawu Zheng, Rongrong Ji,
• Abstract要約: 抽象推論能力は、抽象ルールを抽出し適用するためのLLMの知性と能力を反映する。 既存のベンチマークは、高価な手作業のアノテーション、そのスケールの制限、あるいは真の推論ではなく暗記のリスク測定に頼っている。 我々はA2RBenchという名の自動パイプラインを導入し、生成、拡張、評価、分析を行う。
• 参考スコア（独自算出の注目度）: 59.98516959731531
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Abstract reasoning ability reflects the intelligence and generalization capacity of LLMs to extract and apply abstract rules. However, accurately measuring this ability remains challenging: existing benchmarks either rely on expensive manual annotation, limiting their scale, or risk measuring memorization rather than genuine reasoning. To address this, we introduce an automated pipeline named A2RBench, encompassing generation, expansion, evaluation, and analysis. Specifically, in the generation stage, LLMs create diverse tasks demanding genuine reasoning; in the expansion stage, LLMs reuse validated rules and expand new input spaces to generate task variations, achieving scaling. However, such a process may cause hallucinations. To eliminate it, we further establish a theoretical framework and prove that programmatic verification--testing whether the inverse operation perfectly reverses the forward operation (cycle consistency)--guarantees a unique solution. Through extensive evaluations on mainstream LLMs, we find: (1) Current LLMs exhibit fundamental deficiencies in abstract reasoning, with top models significantly underperforming humans on a representative subset (39.8% vs. 68.5%). (2) Current LLMs fall far short of 2D and 1D in the complexity of generated 3D tasks, revealing their lack of understanding of high-dimensional tasks. (3) Counterintuitively, inputs with higher information complexity can simplify the reasoning process.
• Abstract（参考訳）: 抽象推論能力は、抽象ルールを抽出し適用するためのLLMの知性と一般化能力を反映している。 既存のベンチマークは、高価な手作業のアノテーションに頼るか、そのスケールを制限するか、本当の推論よりも暗記を計測するリスクを負うかのどちらかです。 これを解決するために、A2RBenchという自動パイプラインを導入し、生成、拡張、評価、分析を行う。 拡張段階では、LLMは検証されたルールを再利用し、新しい入力空間を拡張してタスクのバリエーションを生成し、スケーリングを実現する。 しかし、このような過程は幻覚を引き起こす可能性がある。 これを排除するために、我々はさらに理論的枠組みを確立し、逆演算が前方操作(サイクル整合性)を完全に逆転するかどうかを検証し、ユニークな解を導くことを証明する。 1)現在のLLMは抽象的推論において根本的な欠陥を示し、上位モデルは代表的サブセット(39.8%対68.5%)で人間を著しく下回る。 2) 現在のLLMは, 生成した3次元タスクの複雑さにおいて, 2次元と1次元にはるかに劣っているため, 高次元タスクに対する理解の欠如が明らかとなった。 (3)情報複雑度の高い入力は推論過程を単純化することができる。

関連論文リスト

• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• An Empirical Study of Reasoning Steps in Thinking Code LLMs [8.653365851909745]
  大規模言語モデルを考えると、最終回答の前に明確な中間推論トレースを生成する。 本研究では,コード生成のためのLLMの推論過程と品質について検討する。
  論文  参考訳（メタデータ） (2025-11-08T06:18:48Z)
• Search-R3: Unifying Reasoning and Embedding Generation in Large Language Models [11.39711340224126]
  Search-R3は、Large Language Modelsを適用して、彼らの推論プロセスの直接出力として検索埋め込みを生成する新しいフレームワークである。 我々のアプローチはLLMのチェーン・オブ・シント機能を利用しており、複雑な意味解析を通じてステップ・バイ・ステップを推論することでより効果的な埋め込みを実現できる。
  論文  参考訳（メタデータ） (2025-10-08T14:16:20Z)
• seqBench: A Tunable Benchmark to Quantify Sequential Reasoning Limits of LLMs [1.0519693622157462]
  我々は,Large Language Models (LLMs) における逐次推論限界を探索するベンチマークであるseqBenchを紹介する。 検索の複雑さが最小限であるにもかかわらず、セクベンチの構造的推論タスクでは、トップパフォーマンスモデルでさえ体系的に失敗することがわかった。
  論文  参考訳（メタデータ） (2025-09-21T01:32:13Z)
• Truly Assessing Fluid Intelligence of Large Language Models through Dynamic Reasoning Evaluation [106.17986469245302]
  大きな言語モデル(LLM)は、人間のような思考を反映する印象的な推論能力を示している。 既存の推論ベンチマークでは、ドメイン固有の知識(結晶化インテリジェンス)に焦点を当てるか、解釈可能性に欠ける。 階層的認知フレームワークを基盤とした動的推論評価ベンチマークであるDRE-Benchを提案する。
  論文  参考訳（メタデータ） (2025-06-03T09:01:08Z)
• Unveiling the Magic of Code Reasoning through Hypothesis Decomposition and Amendment [54.62926010621013]
  我々は,大規模言語モデルの推論能力に対する新たな視点を提供するために,新しいタスクであるコード推論を導入する。 論理的推論の確立した形式に基づいて3つのメタベンチマークを要約し、8つの特定のベンチマークタスクにインスタンス化する。 本稿では,人間の複雑な問題解決手法に触発された新たな経路探索パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-02-17T10:39:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。