論文の概要: On Generalization in Agentic Tool Calling: CoreThink Agentic Reasoner and MAVEN Dataset

• arxiv url: http://arxiv.org/abs/2510.22898v1
• Date: Mon, 27 Oct 2025 00:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.411426
• Title: On Generalization in Agentic Tool Calling: CoreThink Agentic Reasoner and MAVEN Dataset
• Title（参考訳）: エージェントツール呼び出しの一般化について:CoreThinkエージェント推論とMAVENデータセット
• Authors: Vishvesh Bhat, Omkar Ghugarkar, Julian McAuley,
• Abstract要約: エージェントツールコール環境間の一般化は、信頼できる推論システムを開発する上で重要な未解決課題である。 本稿では、構造化分解と適応ツールオーケストレーションのための軽量なシンボリック推論層を用いて、大規模言語モデルを強化するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.921428284844684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generalization across Agentic tool-calling environments remains a key unsolved challenge in developing reliable agentic reasoning systems. While large language models (LLMs) demonstrate strong performance on isolated benchmarks, their ability to transfer reasoning strategies and co-ordinate tools across diverse domains is poorly understood. In this work, we conduct a large-scale evaluation of state-of-the-art LLMs on multiple tool-calling benchmarksBFCL v3, TauBench, Tau2Bench, and AceBenchand introduce MAVEN (Math & Physics Adversarial Verification & Evaluation Network), a new out of distribution (OOD) benchmark designed to stress-test multi-step reasoning through explicit verification and adversarial task composition. Our results show that most current models achieve below 50% accuracy on MAVEN, revealing a significant generalization gap across tool-use settings. To address this, we present the CoreThink Agentic Reasoner, a framework that augments LLMs with a lightweight symbolic reasoning layer for structured decomposition and adaptive tool orchestration. Without additional training, it generalizes across all benchmarks, achieving state-of-the-art performance with 530% improvements over existing baselines at roughly one-tenth the computational cost.
• Abstract（参考訳）: エージェントツールコール環境間の一般化は、信頼できるエージェント推論システムを開発する上で、未解決の課題である。 大規模言語モデル(LLM)は、孤立したベンチマークで強いパフォーマンスを示すが、推論戦略の転送やさまざまなドメインをまたいでツールの調整を行う能力はあまり理解されていない。 本研究では,複数のツールコールベンチマーク(BFCL v3, TauBench, Tau2Bench, AceBenchand, MAVEN (Math & Physics Adversarial Verification & Evaluation Network))を用いて,複数ツールコールベンチマーク(BFCL v3, TauBench, Tau2Bench, AceBenchand)上での最先端LCMの大規模評価を行う。 その結果,ほとんどのモデルがMAVENで50%未満の精度で達成でき,ツール使用設定間での大幅な一般化のギャップが明らかとなった。 これを解決するために、構造化分解および適応ツールオーケストレーションのための軽量なシンボリック推論レイヤでLLMを拡張するフレームワークであるCoreThink Agentic Reasonerを提案する。 追加のトレーニングなしで、すべてのベンチマークを一般化し、最先端のパフォーマンスを達成し、計算コストの約10分の1で既存のベースラインよりも530%改善した。

関連論文リスト

• Agentic AI Reasoning for Mobile Edge General Intelligence: Fundamentals, Approaches, and Directions [74.35421055079655]
  大規模言語モデル(LLM)は、強力な推論と自律的な意思決定能力を備えたエージェント人工知能(AI)の出現を可能にした。 Mobile Edge General Intelligence (MEGI)は、リアルタイムでプライバシ保護の推論をネットワークエッジにもたらす。 本稿では,MEGIにおけるLLM推論の効率的な展開のための共同最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:53:48Z)
• RefactorCoderQA: Benchmarking LLMs for Multi-Domain Coding Question Solutions in Cloud and Edge Deployment [20.416910591388618]
  本稿では,Large Language Models (LLM) の性能を評価するためのベンチマークであるRefactorCoderQAを紹介する。 我々の微調整モデルであるRefactorCoder-MoEは最先端のパフォーマンスを実現し、オープンソースと商用のベースラインを76.84%で上回りました。
  論文  参考訳（メタデータ） (2025-09-12T17:44:22Z)
• TableMind: An Autonomous Programmatic Agent for Tool-Augmented Table Reasoning [10.267950603662776]
  TableMindは、データ分析と正確な数値推論のために、セキュアなサンドボックス環境で、マルチターンツールの実行、書き込み、実行を自律的に実行する、ツール統合テーブル推論エージェントである。 これらの機能を実現するために、我々は強力な事前学習言語モデルの上に構築された2段階の微調整パラダイムを採用する。
  論文  参考訳（メタデータ） (2025-09-08T02:00:31Z)
• MCPVerse: An Expansive, Real-World Benchmark for Agentic Tool Use [72.53177559476704]
  我々はエージェントツールの使用を評価するための実世界のベンチマークであるMCPVerseを紹介する。 MCPVerseは550以上の実世界の実行可能なツールを統合し、140kトークンを超える前例のないアクション空間を作成する。 私たちは最先端のLSMを3つのモード(Oracle、Standard、Max-Scale)でベンチマークしました。
  論文  参考訳（メタデータ） (2025-08-22T09:47:53Z)
• Unifying Language Agent Algorithms with Graph-based Orchestration Engine for Reproducible Agent Research [32.92036657863354]
  大規模言語モデル(LLM)を利用した言語エージェントは、複雑なタスクの理解、推論、実行において顕著な能力を示した。 しかし、堅牢なエージェントの開発には、相当なエンジニアリングオーバーヘッド、標準化されたコンポーネントの欠如、公正な比較のための十分な評価フレームワークなど、大きな課題がある。 我々はこれらの課題に対処するフレキシブルで抽象的なフレームワークであるAGORA(Agent Graph-based Orchestration for Reasoning and Assessment)を紹介した。
  論文  参考訳（メタデータ） (2025-05-30T08:46:23Z)
• General-Reasoner: Advancing LLM Reasoning Across All Domains [64.70599911897595]
  強化学習(RL)は近年,大規模言語モデル(LLM)の推論能力の向上に強い可能性を示している。 本稿では,多分野にわたるLSM推論能力の向上を目的とした,新たなトレーニングパラダイムであるGeneral-Reasonerを提案する。 私たちは一連のモデルをトレーニングし、物理学、化学、金融、電子工学など幅広い分野をカバーする幅広いデータセットでそれらを評価します。
  論文  参考訳（メタデータ） (2025-05-20T17:41:33Z)
• Computational Reasoning of Large Language Models [51.629694188014064]
  textbfTuring Machine Benchは,Large Language Models(LLM)による推論プロセスの実行能力を評価するベンチマークである。 TMBenchには、自己完結型および知識に依存しない推論、最小主義的な多段階構造、制御可能な難易度、チューリングマシンに基づく理論的基礎の4つの重要な特徴が組み込まれている。
  論文  参考訳（メタデータ） (2025-04-29T13:52:47Z)
• AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [74.16170899755281]
  本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。 AgentBoardは、インクリメンタルな進歩と包括的な評価ツールキットをキャプチャする、きめ細かい進捗率のメトリクスを提供する。 これはLLMエージェントの能力と限界に光を当てるだけでなく、その性能の解釈可能性も最前線に広める。
  論文  参考訳（メタデータ） (2024-01-24T01:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。