論文の概要: MATCH: Model-Aware Tool Learning with Curriculum Scheduling and Hierarchically Gated Rewards

• arxiv url: http://arxiv.org/abs/2609.20082v1
• Date: Thu, 17 Sep 2026 11:40:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.247071
• Title: MATCH: Model-Aware Tool Learning with Curriculum Scheduling and Hierarchically Gated Rewards
• Title（参考訳）: MATCH: カリキュラムスケジューリングと階層的ゲーテッドリワードによるモデル認識ツール学習
• Abstract要約: ツール学習により、大規模言語モデルはパラメトリック知識を超えたタスクに外部ツールを使用することができる。 カリキュラムのスケジューリングと階層的な報酬を用いたモデル認識ツール学習のためのフレームワークであるMATCHを提案する。 API-BankとBFCL V3では、MATCHは72.19%、62.87%の精度に達し、主要な教師付きベースラインとRLベースのベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 40.341250068293185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tool learning enables large language models (LLMs) to use external tools for tasks beyond parametric knowledge. Reinforcement learning can optimize tool-call behavior from feedback, but current methods still face two problems: fixed-threshold curricula can become misaligned with the policy's evolving capability boundary, and additive rewards can leak argument-level credit when the predicted tool is wrong. To address these problems, we propose MATCH, a closed-loop framework for model-aware tool learning with curriculum scheduling and hierarchically gated rewards. Model-Aware Curriculum Learning (MACL) maintains reward-derived sample difficulty that co-evolves with the policy, and each epoch selects samples near the current capability boundary together with a top-k pool of harder cases. Hierarchical Tool-call Gated Reward (HTGR) scores tool name, argument key, and argument value as a gated chain, granting credit at each level only when prerequisites hold. The same HTGR rewards drive both GRPO updates and MACL's difficulty refresh, closing the loop between policy optimization and sample scheduling. On API-Bank and BFCL V3, MATCH reaches 72.19% and 62.87% overall accuracy, outperforming the main supervised and RL-based baselines. Backbone experiments further show consistent improvements across four backbones from two model families.
• Abstract（参考訳）: ツール学習により、大規模言語モデル(LLM)はパラメトリック知識を超えたタスクに外部ツールを使用することができる。 強化学習はフィードバックからのツールコール動作を最適化することができるが、現在の手法では2つの問題に直面している。 これらの問題に対処するために,モデル認識ツール学習のためのクローズドループフレームワークであるMATCHを提案する。 Model-Aware Curriculum Learning (MACL)は、ポリシーと共進化する報酬由来のサンプル困難を維持し、各エポックは、より難しいケースの上位kプールとともに、現在の能力境界付近のサンプルを選択する。 Hierarchical Tool-call Gated Reward (HTGR)はツール名、引数キー、引数値をゲートチェーンとしてスコアし、前提条件が保持された場合にのみ各レベルにクレジットを与える。 同じHTGR報酬はGRPO更新とMACLのリフレッシュを駆動し、ポリシー最適化とサンプルスケジューリングのループを閉じる。 API-BankとBFCL V3では、MATCHは72.19%、62.87%の精度に達し、主要な教師付きベースラインとRLベースのベースラインを上回っている。 バックボーン実験はさらに、2つのモデルファミリーから4つのバックボーンに一貫した改善を示している。

関連論文リスト

• AIR: Adaptive Interleaved Reasoning with Code in MLLMs [26.910280225921934]
  マルチモーダル言語モデル(MLLM)を強化するためのコードとのインターリーブ推論は、重要な研究フロンティアとなっている。 本稿では、コード強化複素数値タスクにおける強化学習訓練により、適応的インターリーブ推論機能を有するMLLMを増強する。 実験により,グループ制約付き報酬関数を用いた強化学習の学習後,評価ベンチマークにおいて平均6.1ポイント(pp)の性能向上が示された。
  論文  参考訳（メタデータ） (2026-06-22T17:58:54Z)
• Adaptive Tool Generation with Models as Tools and Reinforcement Learning [3.592245101862886]
  MTRは、ツール強化推論のためのシミュレーションファーストのトレーニングフレームワークである。 スキーマ検証されたシミュレートされた観察で、完全なReActトレースから学習する。 MTRは、ライブAPIシステムと競合するエクサクトマッチ(EM)スコアを取得する。
  論文  参考訳（メタデータ） (2025-10-08T09:48:50Z)
• THOR: Tool-Integrated Hierarchical Optimization via RL for Mathematical Reasoning [25.605096023894834]
  大規模言語モデル (LLM) は数学的推論において顕著な進歩を遂げた。 最近の進歩にもかかわらず、既存の手法は3つの重要な課題に直面している。 我々はこれらの制限を克服するためにTHOR(Tool-Integrated Hierarchical Optimization via RL)を提案する。 提案手法は多種多様なモデルに対して強い一般化を示し,推論モデルと非推論モデルの両方で効果的に機能する。
  論文  参考訳（メタデータ） (2025-09-17T07:16:12Z)
• Reinforcement Learning for Machine Learning Engineering Agents [52.03168614623642]
  強化学習によって改善される弱いモデルによって支援されるエージェントは、はるかに大きいが静的モデルによって支援されるエージェントよりも優れていることを示す。 分散非同期RLフレームワークにおいて,高コストかつ高利回りな動作を増幅するための時間依存性の勾配更新を提案する。 また,早期に失敗するプログラムとほぼ正しくないプログラムを区別し,部分クレジットを提供する環境機器を提案する。
  論文  参考訳（メタデータ） (2025-09-01T18:04:10Z)
• VerlTool: Towards Holistic Agentic Reinforcement Learning with Tool Use [78.29315418819074]
  VerlToolは、体系的な設計原則を通じて制限に対処する統一的でモジュール化されたフレームワークです。 我々のフレームワークはARLTをマルチターントラジェクトリとして定式化し、マルチモード観測トークン(テキスト/画像/ビデオ)を単一ターンRLVRパラダイムを超えて拡張する。 モジュール化されたプラグインアーキテクチャは、軽量Python定義のみを必要とする迅速なツール統合を可能にする。
  論文  参考訳（メタデータ） (2025-09-01T01:45:18Z)
• Discriminative Policy Optimization for Token-Level Reward Models [55.98642069903191]
  プロセス報酬モデル(PRM)は、結果報酬モデル(ORM)と比較して、よりきめ細かい監督を提供する。 Q-RMは、微粒なアノテーションに頼ることなく、優先データからトークンレベルのQ関数を明示的に学習する。 Q-RMによる強化学習は、トレーニング効率を大幅に向上させ、GSM8KでのORMの12倍、MATHでのステップレベルPRMの11倍の収束を実現した。
  論文  参考訳（メタデータ） (2025-05-29T11:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。