論文の概要: ADC: Enhancing Function Calling Via Adversarial Datasets and Code Line-Level Feedback

• arxiv url: http://arxiv.org/abs/2412.17754v2
• Date: Wed, 25 Dec 2024 04:23:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 10:58:38.401381
• Title: ADC: Enhancing Function Calling Via Adversarial Datasets and Code Line-Level Feedback
• Title（参考訳）: ADC: 逆データセットとコード行レベルフィードバックによる関数呼び出しの強化
• Authors: Wei Zhang, Yi Zhang, Li Zhu, Qianghuai Jia, Feijun Jiang, Hongcheng Guo, Zhoujun Li, Mengping Zhou,
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理とコーディングにおいて大きな進歩を遂げているが、複雑な関数呼び出しの堅牢性と正確性に苦慮している。 本稿では,LLMの関数形式を追従し,複雑なパラメータにマッチする能力を高める革新的なアプローチであるADCを紹介する。
• 参考スコア（独自算出の注目度）: 27.197208975799334
• License:
• Abstract: Large Language Models (LLMs) have made significant strides in Natural Language Processing and coding, yet they struggle with robustness and accuracy in complex function calls. To tackle these challenges, this paper introduces ADC, an innovative approach that enhances LLMs' ability to follow function formats and match complex parameters. ADC utilizes a high-quality code fine-tuning dataset with line-level execution feedback, providing granular process supervision that fosters strong logical reasoning and adherence to function formats. It also employs an adversarial dataset generation process to improve parameter matching. The staged training methodology capitalizes on both enriched code datasets and refined adversarial datasets, leading to marked improvements in function calling capabilities on the Berkeley Function-Calling Leaderboard (BFCL) Benchmark. The innovation of ADC lies in its strategic combination of process supervision, adversarial refinement, and incremental learning, setting a new standard for LLM proficiency in complex function calling.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理とコーディングにおいて大きな進歩を遂げているが、複雑な関数呼び出しの堅牢性と正確性に苦慮している。 これらの課題に対処するため,本稿では,LLMの関数形式に従う能力を高め,複雑なパラメータに適合させる革新的なアプローチであるADCを紹介する。 ADCは、ラインレベルの実行フィードバックを備えた高品質なコード微調整データセットを使用して、強力な論理的推論と関数形式への準拠を促進する、きめ細かいプロセス監視を提供する。 また、パラメータマッチングを改善するために、逆データセット生成プロセスも採用している。 ステージドトレーニング手法は、リッチなコードデータセットと洗練された敵対的データセットの両方に便乗し、バークレー・ファンクション・カリング・リーダーボード(BFCL)ベンチマークにおける関数呼び出し機能を大幅に改善する。 ADCの革新は、プロセスの監督、敵の洗練、漸進的な学習の戦略的組み合わせにあり、複雑な関数呼び出しにおけるLLMの習熟度の新しい標準を確立している。

関連論文リスト

• Enhancing LLM Character-Level Manipulation via Divide and Conquer [108.6908427615402]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる強力な一般化機能を示している。 彼らは文字レベルの文字列操作において顕著な弱点を示し、文字削除、挿入、置換といった基本的な操作に苦労した。 本稿では,トークンレベルの処理と文字レベルの操作のギャップを埋める新しい手法であるDivide and Conquerによる文字レベル操作を提案する。
  論文  参考訳（メタデータ） (2025-02-12T07:37:39Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Efficient Knowledge Feeding to Language Models: A Novel Integrated Encoder-Decoder Architecture [0.0]
  ICVは言語モデルの潜在埋め込みを用いて、コンテキスト内学習をリキャストする。 ICVは直接情報をモデルに統合し、この情報をより効率的に処理することができる。
  論文  参考訳（メタデータ） (2025-02-07T04:24:07Z)
• LF-Steering: Latent Feature Activation Steering for Enhancing Semantic Consistency in Large Language Models [16.37602070339033]
  LLM(Large Language Models)は、意味的に等価なパラフレーズ入力によって、しばしば一貫性のない応答を生成する。 セマンティック不整合の原因となる潜在特徴表現を正確に識別する新しいアクティベーションステアリング手法LF-ステアリングを提案する。 本手法は, 関連トランス層の隠蔽状態をスパースオートエンコーダに基づいて, 疎活性化された高次元特徴空間にマッピングする。
  論文  参考訳（メタデータ） (2025-01-19T13:06:51Z)
• Enhancing Function-Calling Capabilities in LLMs: Strategies for Prompt Formats, Data Integration, and Multilingual Translation [15.259077785780667]
  大規模言語モデル(LLM)は、特に関数呼び出しにおいて、かなり高度な自律エージェントを持つ。 本研究は, LLMの機能呼び出し能力の向上を, 様々なアプローチを探求することによって研究している。
  論文  参考訳（メタデータ） (2024-12-02T05:10:41Z)
• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• Alopex: A Computational Framework for Enabling On-Device Function Calls with LLMs [31.961168273386757]
  AlopexはFox Large Language Modelsを使ってデバイス上で正確な関数呼び出しを可能にするフレームワークである。 データミキシング戦略は破滅的な忘れを軽減し、関数呼び出しデータと教科書データセットを組み合わせて様々なタスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-11-07T22:15:17Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。