Fugu-MT 論文翻訳(概要): R2IF: Aligning Reasoning with Decisions via Composite Rewards for Interpretable LLM Function Calling

論文の概要: R2IF: Aligning Reasoning with Decisions via Composite Rewards for Interpretable LLM Function Calling

arxiv url: http://arxiv.org/abs/2604.20316v1
Date: Wed, 22 Apr 2026 08:13:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-23 15:36:11.035667
Title: R2IF: Aligning Reasoning with Decisions via Composite Rewards for Interpretable LLM Function Calling
Title（参考訳）: R2IF:LLM関数呼び出しのための複合リワードによる推論の調整
Abstract要約: 本稿では,関数呼び出しを解釈可能なRLフレームワークであるR2IFを提案する。 BFCL/ACEBenchの実験では、R2IFはベースラインを34.62%上回っている。
参考スコア（独自算出の注目度）: 7.385881045816043
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Function calling empowers large language models (LLMs) to interface with external tools, yet existing RL-based approaches suffer from misalignment between reasoning processes and tool-call decisions. We propose R2IF, a reasoning-aware RL framework for interpretable function calling, adopting a composite reward integrating format/correctness constraints, Chain-of-Thought Effectiveness Reward (CER), and Specification-Modification-Value (SMV) reward, optimized via GRPO. Experiments on BFCL/ACEBench show R2IF outperforms baselines by up to 34.62% (Llama3.2-3B on BFCL) with positive Average CoT Effectiveness (0.05 for Llama3.2-3B), enhancing both function-calling accuracy and interpretability for reliable tool-augmented LLM deployment.
Abstract（参考訳）: 関数呼び出しは、大きな言語モデル(LLM)を外部ツールとのインターフェースに役立てるが、既存のRLベースのアプローチは推論プロセスとツールコール決定の不一致に悩まされる。 R2IFは,形式/正確性制約,CER(Chain-of-Thought Effectiveness Reward)および仕様修正値(Specification-Modification-Value)報酬を統合し,GRPOを介して最適化された複合報酬を採用する。 BFCL/ACEBenchの実験では、R2IFは34.62%(Llama3.2-3B on BFCL)、平均CoT効果(Llama3.2-3Bは0.05)でベースラインを上回り、信頼性の高いツール拡張LDMデプロイメントのための関数呼び出し精度と解釈性の両方を向上させる。

関連論文リスト

LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-07-06T17:59:35Z)
DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
論文参考訳（メタデータ） (2026-05-17T07:14:44Z)
Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR [23.417956258945427]
本稿では,学習中の情報的質問文の優先順位付けに精度推定を利用するポストトレーニングフレームワークを提案する。 PACED-RL は LLM のより効率的な分布マッチング訓練のための有望な方向である。
論文参考訳（メタデータ） (2026-02-13T06:04:14Z)
MAXS: Meta-Adaptive Exploration with LLM Agents [48.04723638253802]
MaxSはLarge Language Model (LLM) Agentsをベースにしたメタ適応推論フレームワークである。 MAXSは、いくつかのステップを進む推論パスを拡張するために、ルックアヘッド戦略を採用している。ステップの一貫性のばらつきとステップ間のトレンドスロープを組み合わせることで、安定で一貫性があり、高い値の推論ステップを共同で選択する。
論文参考訳（メタデータ） (2026-01-14T07:48:00Z)
AWPO: Enhancing Tool-Use of Large Language Models through Explicit Integration of Reasoning Rewards [60.2998874976509]
我々は,ツール利用能力を高めるために,明示的な推論報酬を統合するために,有利なポリシー最適化(AWPO)を提案する。 AWPOは分散認識ゲーティングと困難認識重み付けを導入し、推論信号から利点を適応的に変調する。実験により、AWPOは標準的なツール使用ベンチマークで最先端のパフォーマンスを達成することが示された。
論文参考訳（メタデータ） (2025-12-22T08:07:00Z)
Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
論文参考訳（メタデータ） (2025-11-11T21:50:44Z)
A$^2$FM: An Adaptive Agent Foundation Model for Tool-Aware Hybrid Reasoning [40.6234318894435]
大規模言語モデルは、推論中心のLLMとエージェントのLLMの2つのファミリーに分けられた。この分割は、基本的に異なるトレーニング目標から生じ、単純なクエリに対して不一致の強度と非効率をもたらす。本稿では,アダプティブ・エージェント・ファンデーション・モデル (A$2$FM) を提案する。
論文参考訳（メタデータ） (2025-10-13T17:08:25Z)
Enhancing Reasoning for Diffusion LLMs via Distribution Matching Policy Optimization [44.14678335188207]
拡散大言語モデル(dLLM)は自己回帰大言語モデル(AR-LLM)の代替として有望である強化学習(RL)は、推論などの重要なタスクにおいて、AR-LLMと同等のパフォーマンスを達成するために、dLLMにとって重要なコンポーネントである。本稿では,原理的かつ理論的に基礎付けられたRL微調整法である分散マッチングポリシー最適化(DMPO)を提案する。
論文参考訳（メタデータ） (2025-10-09T13:59:50Z)
Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
論文参考訳（メタデータ） (2025-06-17T17:12:34Z)
Direct Reasoning Optimization: LLMs Can Reward And Refine Their Own Reasoning for Open-Ended Tasks [6.881699020319577]
大規模言語モデル(LLM)を微調整するための強化学習フレームワークであるダイレクト推論最適化(DRO)を提案する。 DROは新たな報酬信号、Reasoning Reflection Reward (R3)によって誘導される。 DROは、オープンエンドドメインと構造化ドメインの両方にわたって広く適用されながら、強いベースラインを一貫して上回る。
論文参考訳（メタデータ） (2025-06-16T10:43:38Z)
Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文参考訳（メタデータ） (2025-01-08T11:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。