論文の概要: Enhancing Function-Calling Capabilities in LLMs: Strategies for Prompt Formats, Data Integration, and Multilingual Translation

• arxiv url: http://arxiv.org/abs/2412.01130v2
• Date: Wed, 04 Dec 2024 03:34:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 11:47:12.827716
• Title: Enhancing Function-Calling Capabilities in LLMs: Strategies for Prompt Formats, Data Integration, and Multilingual Translation
• Title（参考訳）: LLMの機能強化: プロンプトフォーマット、データ統合、多言語翻訳のための戦略
• Authors: Yi-Chang Chen, Po-Chun Hsu, Chan-Jan Hsu, Da-shan Shiu,
• Abstract要約: 大規模言語モデル(LLM)は、特に関数呼び出しにおいて、かなり高度な自律エージェントを持つ。 本研究は, LLMの機能呼び出し能力の向上を, 様々なアプローチを探求することによって研究している。
• 参考スコア（独自算出の注目度）: 15.259077785780667
• License:
• Abstract: Large language models (LLMs) have significantly advanced autonomous agents, particularly in zero-shot tool usage, also known as function calling. This research delves into enhancing the function-calling capabilities of LLMs by exploring different approaches, including prompt formats for integrating function descriptions, blending function-calling and instruction-following data, introducing a novel Decision Token for conditional prompts, leveraging chain-of-thought reasoning, and overcoming multilingual challenges with a translation pipeline. Our key findings and contributions are as follows: (1) Instruction-following data improves both function-calling accuracy and relevance detection. (2) The use of the newly proposed Decision Token, combined with synthetic non-function-call data, enhances relevance detection. (3) A tailored translation pipeline effectively overcomes multilingual limitations, demonstrating significant improvements in Traditional Chinese. These insights highlight the potential for improved function-calling capabilities and multilingual applications in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特にゼロショットツールの使用において、かなり高度な自律エージェントを持つ。 本研究は,関数記述の統合,関数呼び出しと命令追従データをブレンドするプロンプトフォーマット,条件付きプロンプトのための新しい決定トークンの導入,チェーンオブ思考推論の活用,翻訳パイプラインによる多言語課題の克服など,さまざまなアプローチによるLLMの関数呼出能力の向上に重点を置いている。 1)指示追従データにより,機能呼び出し精度と関連性検出が向上する。 2) 新たに提案した決定トークンと合成ノンファンクションコールデータを組み合わせることで, 関連性の検出が促進される。 (3) 適応翻訳パイプラインは、多言語的制限を効果的に克服し、伝統的な中国語で大幅に改善されたことを示す。 これらの知見は、LLMにおける機能呼び出し機能の改善と多言語アプリケーションの可能性を強調している。

関連論文リスト

• Probing Large Language Models in Reasoning and Translating Complex Linguistic Puzzles [0.6144680854063939]
  本稿では,複雑な言語パズルの解法としてLarge Language Models (LLMs) を用いる。 パズリングマシンコンペティションと各種言語オリンピアードのデータセットを用いて、GPT-4 0603の性能を評価する。
  論文  参考訳（メタデータ） (2025-02-02T14:53:14Z)
• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• Language Fusion for Parameter-Efficient Cross-lingual Transfer [21.96231169571248]
  Fusion forLanguage Representations (FLARE)は、英語以外の言語における表現品質と下流のパフォーマンスを向上させる新しい手法である。 FLAREは、低ランク (LoRA) アダプタ内でのソースおよびターゲット言語表現を、軽量線形変換を用いて統合する。 FLAREの有効性を実証するためには、自然言語推論、質問応答、感情分析など、言語横断の自然言語理解タスクにまたがる一連の実験がある。
  論文  参考訳（メタデータ） (2025-01-12T18:02:29Z)
• ADC: Enhancing Function Calling Via Adversarial Datasets and Code Line-Level Feedback [27.197208975799334]
  大規模言語モデル(LLM)は自然言語処理とコーディングにおいて大きな進歩を遂げているが、複雑な関数呼び出しの堅牢性と正確性に苦慮している。 本稿では,LLMの関数形式を追従し,複雑なパラメータにマッチする能力を高める革新的なアプローチであるADCを紹介する。
  論文  参考訳（メタデータ） (2024-12-23T18:07:18Z)
• Alopex: A Computational Framework for Enabling On-Device Function Calls with LLMs [31.961168273386757]
  AlopexはFox Large Language Modelsを使ってデバイス上で正確な関数呼び出しを可能にするフレームワークである。 データミキシング戦略は破滅的な忘れを軽減し、関数呼び出しデータと教科書データセットを組み合わせて様々なタスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-11-07T22:15:17Z)
• Improving Small-Scale Large Language Models Function Calling for Reasoning Tasks [0.8425561594225592]
  本研究では,関数呼び出しにおいて,より小さな言語モデルを訓練するための新しいフレームワークを提案する。 特定の論理的および数学的推論タスクに焦点を当てている。 このアプローチは,関数呼び出しによるこれらのタスクの小型モデルの性能向上を目的としている。
  論文  参考訳（メタデータ） (2024-10-24T16:27:35Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Offline RL for Natural Language Generation with Implicit Language Q Learning [87.76695816348027]
  ユーザ指定タスクの完了に関して、大きな言語モデルは矛盾する可能性がある。 本稿では,RLのフレキシブル・ユーティリティ・フレームワークと教師あり学習能力を組み合わせた新しいRL手法を提案する。 ILQLの実証的な検証に加えて、オフラインRLが自然言語生成設定で有用となるような、詳細な経験的分析状況も提示する。
  論文  参考訳（メタデータ） (2022-06-05T18:38:42Z)
• A Framework of Meta Functional Learning for Regularising Knowledge Transfer [89.74127682599898]
  本研究では,データ豊富なタスクから一般化可能な関数型モデルをメタ学習することで,メタ関数型学習(MFL)の新たなフレームワークを提案する。 MFLは、限定ラベル付きデータに対する機能訓練が学習すべきより差別的な機能を促進することにより、異なる学習タスクに一般化可能な機能正規化に関するメタ知識を計算する。
  論文  参考訳（メタデータ） (2022-03-28T15:24:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。