論文の概要: Small agents should know what their tools do

• arxiv url: http://arxiv.org/abs/2610.35981v1
• Date: Mon, 26 Oct 2026 10:28:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.186101
• Title: Small agents should know what their tools do
• Title（参考訳）: 小さなエージェントは彼らのツールが何を行うかを知っておくべきだ
• Abstract要約: エフェクト型ツールの実行可能な世界であるエフェクトワールドを紹介する。 どのツールでもその効果を宣言します。 このデータで訓練された低ランクは大きな利益をもたらす。
• 参考スコア（独自算出の注目度）: 45.88028371034407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small open language models can call tools, but they do not reason about what a call does: they delete without asking, repeat writes, re-read state they already hold, and issue one call per turn where a short program would do. We introduce EffectWorld, an executable world of effect-typed tools in which every tool declares its effect, whether it is idempotent, and which resources it reads and writes. These declarations let a replay verifier decide whether a trace is effect-safe without labels or judge models, let an executor run tool programs of several dependent calls in one turn, and let a compiler-style optimizer turn wasteful traces into verified training signal; together they make EffectWorld a benchmark of effect safety and call efficiency. Low-rank adapters trained on this data deliver large gains: on Qwen3-4B, they raise task success from 53% to 99% in distribution, from 52% to 81% on a held-out split with unseen task kinds and distractor tools, and from 74% to 83% on an unseen domain, with about a third of the output tokens. The gains carry over to other model families. On the Berkeley Function-Calling Leaderboard (BFCL), the adapter matches the base model's live accuracy and raises multi-turn accuracy from 21.9 to 26.6, and a recipe with near-miss declines lifts the BFCL average above the base model's while matching its irrelevance detection. Along the way we uncover and fix a pitfall that in-domain evaluation alone would miss: refusal templates in widely used public tool-use corpora teach a small model not to call tools, cutting BFCL non-live accuracy from 88.0 to 31.4, and filtering them restores 84.8. We also find that positive examples, not negative ones, carry the learning: suppression and preference objectives on the verified negatives add nothing over an SFT-only control, while targeted positives move exactly the behaviour they show.
• Abstract（参考訳）: 小さなオープン言語モデルはツールを呼び出すことができるが、それらは呼び出しが何をするかを判断しない: 要求せずに削除し、繰り返し書き込み、すでに保持している状態を読み返し、ショートプログラムが行う1ターンに1回の呼び出しを発行する。 エフェクトWorldは、すべてのツールがその効果を宣言するエフェクト型ツールの実行可能な世界である。 これらの宣言により、リプレイ検証者は、ラベルや判断モデルなしでトレースがエフェクトセーフかどうかを判断し、エグゼキュータのツールプログラムに複数の依存する呼び出しを1ターンで実行させ、コンパイラスタイルのオプティマイザが無駄なトレースを検証済みのトレーニング信号に変換し、エフェクトWorldをエフェクトセーフとコール効率のベンチマークにする。 Qwen3-4Bでは、タスクの成功率を53%から99%に引き上げ、52%から81%に、未確認のタスクタイプとイントラクタツールで分割し、未確認のドメインで74%から83%に、出力トークンの約3分の1に引き上げている。 利得は他のモデル家族に受け継がれる。 バークレー・ファンクション・カリング・リーダーボード(BFCL)では、アダプタはベースモデルのライブ精度と一致し、マルチターン精度を21.9から26.6に引き上げる。 広く使われているツール使用コーパスにおけるテンプレートの拒絶は、ツールを呼ばない小さなモデルを教え、BFCLの非ライブの精度を88.0から31.4に切り落とし、84.8をフィルタする。 また、肯定的な例ではなく、肯定的な例が学習を担っていることも判明した: 検証された否定に対する抑制と選好の目的は、SFTのみの制御に何の役にも立たないが、対象の肯定的な例は、それらが示す動作を正確に動かす。

関連論文リスト

• Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling [65.03665015319457]
  本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。 複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
  論文  参考訳（メタデータ） (2026-09-01T09:08:15Z)
• ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
  我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。 Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。 曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-08-25T23:21:57Z)
• Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
  SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。 SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。 また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
  論文  参考訳（メタデータ） (2026-08-25T13:59:34Z)
• AgentWeave: Routing Before Reasoning for Efficient Function Calling in Tool-Rich Language Models [0.0]
  我々は,有界モデル可視アクション空間を構成する決定論的事前推論ルーティング層であるAgentWeaveを紹介する。 オールツールの露出とは対照的に、AgentWeaveは70.18%のツールを減らし、61.70%の入力トークンを減らし、平均的なローカルモデルのレイテンシを50.95%低下させる。
  論文  参考訳（メタデータ） (2026-08-24T10:38:08Z)
• The Remarkable Effectiveness of Providing AI Agents with Natural Language Tools: A Replication Study Validating NLT Performance Across 14 Models [41.99844472131922]
  NLTはツールコールの精度を全体として14.9ポイント(62.3%、47.4%)改善し、致命的なエラーを93%削減する(51対755エラー)。 NLTは、特に解析可能性よりも信頼性を重視したプロダクションシステムにおいて、構造化ツール呼び出しの実用的な代替手段である。
  論文  参考訳（メタデータ） (2026-07-04T16:59:12Z)
• LLM Agents Already Know When to Call Tools -- Even Without Reasoning [25.40369702634587]
  LLMエージェントは、たとえモデルが直接答えられるとしても、ツールを無差別に呼び出す傾向がある。 ツールコールが実際に必要になった場合、既存のベンチマークは体系的に研究されない。 ツールの必要性の3つのカテゴリにまたがる18の環境のベンチマークである When2Tool を提案する。
  論文  参考訳（メタデータ） (2026-05-10T01:37:40Z)
• When to Trust Tools? Adaptive Tool Trust Calibration For Tool-Integrated Math Reasoning [58.75883713573783]
  Tool-Integrated Reasoningは、推論軌道にツール呼び出しと実行を組み込む有望なパラダイムとして登場した。 モデルの推論がツールの結果と矛盾する場合、モデルは自身の推論を信じる傾向にあります。 アダプティブ・ツール・トラスト(ATTC、Adaptive Tool Trust)は、モデルに対して、ツール結果の信頼性や無視を適応的に選択するフレームワークである。
  論文  参考訳（メタデータ） (2026-04-09T14:14:37Z)
• Failure Makes the Agent Stronger: Enhancing Accuracy through Structured Reflection for Reliable Tool Interactions [10.598440138966028]
  現在の自己回帰のプラクティスは、プロンプトや一方的な推論に依存しています。 提案する構造的リフレクションは, エラーから修復までの経路を明示的で制御可能な, 訓練可能な動作に変換する。 BFCL v3とTool-Reflection-Benchの実験では、マルチターンツールコールの成功とエラー回復、冗長呼び出しの削減が大幅に向上した。
  論文  参考訳（メタデータ） (2025-09-23T09:35:49Z)
• MICE for CATs: Model-Internal Confidence Estimation for Calibrating Agents with Tools [54.63478102768333]
  十分に校正されたモデル信頼度は、潜在的な行動の報酬に対するリスクを測るために使用することができる。 本稿では,ツール呼び出し時の信頼度を評価するために,モデル内信頼度推定器(MICE)の新たなクラスを提案する。
  論文  参考訳（メタデータ） (2025-04-28T18:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。