論文の概要: The Remarkable Effectiveness of Providing AI Agents with Natural Language Tools: A Replication Study Validating NLT Performance Across 14 Models

• arxiv url: http://arxiv.org/abs/2607.03953v1
• Date: Sat, 04 Jul 2026 16:59:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.772049
• Title: The Remarkable Effectiveness of Providing AI Agents with Natural Language Tools: A Replication Study Validating NLT Performance Across 14 Models
• Title（参考訳）: 自然言語ツールを用いたAIエージェント提供の意義:14モデル間のNLT性能検証のレプリケーション研究
• Abstract要約: NLTはツールコールの精度を全体として14.9ポイント(62.3%、47.4%)改善し、致命的なエラーを93%削減する(51対755エラー)。 NLTは、特に解析可能性よりも信頼性を重視したプロダクションシステムにおいて、構造化ツール呼び出しの実用的な代替手段である。
• 参考スコア（独自算出の注目度）: 41.99844472131922
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This study independently replicates and extends the Natural Language Tools (NLT) framework of Johnson et al.~(2025), which questions the use of structured tool calling in large language model (LLM) agentic systems. We evaluated NLT across 14 models and 8,560 trials, adding newer frontier, reasoning, and open-weight models to the original set. The results confirm the core findings and add detail. NLT improves tool-calling accuracy by 14.9 percentage points overall (62.3\% versus 47.4\% structured) and reduces critical errors by 93\% (51 versus 755 errors). The gains depend on model capability: models without native tool calling, reasoning models, and smaller models gain substantially (+24.0pp to +43.1pp), while heavily optimized frontier models (GPT-5, Gemini 2.5 Pro) show smaller or reversed advantages. This matches recent analyses of reinforcement-learning-optimized tool use (Martinez, 2025). NLT also cuts token usage by 25.2\%. The reliability and efficiency advantages compound in recursive agentic workflows, where agents chain many tool calls across sub-agents: a structured failure triggers retries, fallback routing, and coordination overhead, while NLT avoids most of that cost at the source. This work makes three contributions: (1) the first independent validation of NLT using open-source tooling, (2) evidence that model capability moderates NLT's advantages (Chen et al., 2025; Zhang et al., 2025), and (3) a measurement of NLT's reliability benefit (93\% fewer errors), its most deployment-relevant property given the known fragility of structured tool calling. NLT is a practical alternative to structured tool calling, especially for production systems that value reliability over parseability.
• Abstract（参考訳）: この研究は、大規模言語モデル(LLM)エージェントシステムにおける構造化ツール呼び出しの使用を疑問視するJohnson et al ~(2025)の自然言語ツール(NLT)フレームワークを独立に複製し拡張する。 NLTを14モデル,8,560の試験で評価し,新たなフロンティア,推論,オープンウェイトモデルを加えた。 結果はコアの発見を確認し、詳細を付け加える。 NLTはツールコールの精度を全体として14.9ポイント(62.3倍、47.4倍)改善し、致命的なエラーを93倍(51倍、755倍)削減する。 ネイティブのツールコールのないモデル、推論モデル、より小さなモデル(+24.0ppから+43.1pp)が大幅に増加し、高度に最適化されたフロンティアモデル(GPT-5、Gemini 2.5 Pro)はより小型または逆の利点を示す。 これは、強化学習最適化ツールの使用に関する最近の分析と一致する(Martinez, 2025)。 NLTはまたトークンの使用量を25.2\%削減している。 エージェントはサブエージェント間で多くのツールコールをチェーンし、構造化された障害はリトライ、フォールバックルーティング、調整のオーバーヘッドを引き起こす。 本研究は,(1)オープンソースツールを用いたNLTの最初の独立検証,(2)モデル能力がNLTの利点を損なうという証拠(Chen et al , 2025; Zhang et al , 2025),(3)NLTの信頼性の利点(93 %のエラー)の計測(構造的ツール呼び出しの脆弱さを考慮に入れた最もデプロイメント関連特性)である。 NLTは、特に解析可能性よりも信頼性を重視したプロダクションシステムにおいて、構造化ツール呼び出しの実用的な代替手段である。

関連論文リスト

• Teaching Thinking Models to Reason with Tools: A Full-Pipeline Recipe for Tool-Integrated Reasoning [59.74608632210439]
  そこで本研究では,ツール使用の自然な動作を,ツールなし推論能力を犠牲にすることなく,強力な思考モデルに注入する方法を示す。 提案手法は,オープンソースモデル間のベンチマークにおいて,最先端のパフォーマンスを実現するモデルを生成する。
  論文  参考訳（メタデータ） (2026-05-07T14:23:21Z)
• When to Trust Tools? Adaptive Tool Trust Calibration For Tool-Integrated Math Reasoning [58.75883713573783]
  Tool-Integrated Reasoningは、推論軌道にツール呼び出しと実行を組み込む有望なパラダイムとして登場した。 モデルの推論がツールの結果と矛盾する場合、モデルは自身の推論を信じる傾向にあります。 アダプティブ・ツール・トラスト(ATTC、Adaptive Tool Trust)は、モデルに対して、ツール結果の信頼性や無視を適応的に選択するフレームワークである。
  論文  参考訳（メタデータ） (2026-04-09T14:14:37Z)
• One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。 これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-30T06:08:27Z)
• OR-Toolformer: Modeling and Solving Operations Research Problems with Tool Augmented Large Language Models [3.7202906625021934]
  大規模言語モデル(LLM)は強い数学的推論を示す。 Llama-3.1-8B-Instructを半自動データ合成パイプラインで微調整するOR-Toolformerを導入する。 4つの標準ベンチマークのうち、OR-Toolformerは最大80.1%の実行精度を達成している。
  論文  参考訳（メタデータ） (2025-09-24T14:42:40Z)
• Nemotron-Research-Tool-N1: Exploring Tool-Using Language Models with Reinforced Reasoning [93.30252692375886]
  ルールベースの強化学習は、大きな言語モデルにおけるツールコールを強化するために使用することができる。 ツールN1-7B/14Bはいくつかの主要なベンチマークでGPT-4oを上回った。
  論文  参考訳（メタデータ） (2025-04-25T02:55:21Z)
• Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
  ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。 現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。 最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。 このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
  論文  参考訳（メタデータ） (2025-04-21T05:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。