論文の概要: FunReason: Enhancing Large Language Models' Function Calling via Self-Refinement Multiscale Loss and Automated Data Refinement

• arxiv url: http://arxiv.org/abs/2505.20192v1
• Date: Mon, 26 May 2025 16:38:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 19:27:26.945634
• Title: FunReason: Enhancing Large Language Models' Function Calling via Self-Refinement Multiscale Loss and Automated Data Refinement
• Title（参考訳）: FunReason: セルフリファインメントマルチスケールロスと自動データリファインメントによる大規模言語モデルの関数呼び出しの強化
• Authors: Bingguang Hao, Maolin Wang, Zengzhuang Xu, Cunyin Peng, Yicheng Chen, Xiangyu Zhao, Jinjie Gu, Chenyi Zhuang,
• Abstract要約: 大規模言語モデルの関数呼び出し機能を強化するフレームワークであるFunReasonを紹介する。 FunReasonは、解析可能性、推論コヒーレンス、関数呼び出しの精度に焦点を当てた高品質なトレーニング例を生成する。 FunReasonは、微調整中に破滅的な忘れを効果的に軽減しながら、GPT-4oに匹敵するパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 23.301601376960104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of large language models (LLMs) with function calling has emerged as a crucial capability for enhancing their practical utility in real-world applications. However, effectively combining reasoning processes with accurate function execution remains a significant challenge. Traditional training approaches often struggle to balance the detailed reasoning steps with the precision of function calls, leading to suboptimal performance. To address these limitations, we introduce FunReason, a novel framework that enhances LLMs' function calling capabilities through an automated data refinement strategy and a Self-Refinement Multiscale Loss (SRML) approach. FunReason leverages LLMs' natural reasoning abilities to generate high-quality training examples, focusing on query parseability, reasoning coherence, and function call precision. The SRML approach dynamically balances the contribution of reasoning processes and function call accuracy during training, addressing the inherent trade-off between these two critical aspects. FunReason achieves performance comparable to GPT-4o while effectively mitigating catastrophic forgetting during fine-tuning. FunReason provides a comprehensive solution for enhancing LLMs' function calling capabilities by introducing a balanced training methodology and a data refinement pipeline. For code and dataset, please refer to our repository at GitHub https://github.com/BingguangHao/FunReason
• Abstract（参考訳）: 大規模言語モデル(LLM)と関数呼び出しの統合は、現実のアプリケーションにおける実用性を高める重要な機能として現れている。 しかし、推論プロセスと正確な関数実行を効果的に組み合わせることは大きな課題である。 従来のトレーニングアプローチは、詳細な推論ステップと関数呼び出しの精度のバランスをとるのに苦労することが多く、最適以下のパフォーマンスをもたらす。 この制限に対処するため、自動データ精錬戦略と自己精細マルチスケールロス(SRML)アプローチを通じてLLMの関数呼び出し機能を強化する新しいフレームワークであるFunReasonを紹介した。 FunReasonはLLMの自然な推論能力を活用して、クエリのパース性、推論コヒーレンス、関数呼び出しの精度など、高品質なトレーニング例を生成する。 SRMLアプローチは、トレーニング中の推論プロセスと関数呼び出し精度の寄与を動的にバランスさせ、これら2つの重要な側面間の固有のトレードオフに対処する。 FunReasonは、微調整中に破滅的な忘れを効果的に軽減しながら、GPT-4oに匹敵するパフォーマンスを達成する。 FunReasonは、バランスの取れたトレーニング方法論とデータリファインメントパイプラインを導入することで、LLMの関数呼び出し機能を強化するための包括的なソリューションを提供する。 コードとデータセットについては、GitHubのhttps://github.com/BingguangHao/FunReasonのリポジトリを参照してください。

関連論文リスト

• Planning without Search: Refining Frontier LLMs with Offline Goal-Conditioned RL [62.984693936073974]
  大きな言語モデル(LLM)は、質問応答や対話といったタスクに優れています。 交渉や説得のような相互作用を必要とする複雑なタスクは、さらなる長期の推論と計画を必要とする。 目的条件付き値関数を用いて LLM エージェントの推論を導出する手法を提案する。
  論文  参考訳（メタデータ） (2025-05-23T16:51:54Z)
• Complex LLM Planning via Automated Heuristics Discovery [48.07520536415374]
  複雑な計画タスクのための大規模言語モデル(LLM)の強化を検討する。 我々は,LLMがガイドタイム検索の関数を明示的に生成できる新しい手法である自動推論発見(AutoHD)を提案する。 提案手法はモデルトレーニングや微調整を必要とせず,LLMが生成する関数の明示的な定義は推論過程の解釈可能性と洞察を与える。
  論文  参考訳（メタデータ） (2025-02-26T16:52:31Z)
• ADC: Enhancing Function Calling Via Adversarial Datasets and Code Line-Level Feedback [27.197208975799334]
  大規模言語モデル(LLM)は自然言語処理とコーディングにおいて大きな進歩を遂げているが、複雑な関数呼び出しの堅牢性と正確性に苦慮している。 本稿では,LLMの関数形式を追従し,複雑なパラメータにマッチする能力を高める革新的なアプローチであるADCを紹介する。
  論文  参考訳（メタデータ） (2024-12-23T18:07:18Z)
• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• Alopex: A Computational Framework for Enabling On-Device Function Calls with LLMs [31.961168273386757]
  AlopexはFox Large Language Modelsを使ってデバイス上で正確な関数呼び出しを可能にするフレームワークである。 データミキシング戦略は破滅的な忘れを軽減し、関数呼び出しデータと教科書データセットを組み合わせて様々なタスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-11-07T22:15:17Z)
• Improving Small-Scale Large Language Models Function Calling for Reasoning Tasks [0.8425561594225592]
  本研究では,関数呼び出しにおいて,より小さな言語モデルを訓練するための新しいフレームワークを提案する。 特定の論理的および数学的推論タスクに焦点を当てている。 このアプローチは,関数呼び出しによるこれらのタスクの小型モデルの性能向上を目的としている。
  論文  参考訳（メタデータ） (2024-10-24T16:27:35Z)
• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [49.362750475706235]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。