論文の概要: Enhancing Function-Calling Capabilities in LLMs: Strategies for Prompt Formats, Data Integration, and Multilingual Translation

• arxiv url: http://arxiv.org/abs/2412.01130v1
• Date: Mon, 02 Dec 2024 05:10:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:47:03.763424
• Title: Enhancing Function-Calling Capabilities in LLMs: Strategies for Prompt Formats, Data Integration, and Multilingual Translation
• Title（参考訳）: LLMの機能強化: プロンプトフォーマット、データ統合、多言語翻訳のための戦略
• Authors: Yi-Chang Chen, Po-Chun Hsu, Chan-Jan Hsu, Da-shan Shiu,
• Abstract要約: 大規模言語モデル(LLM)は、特に関数呼び出しにおいて、かなり高度な自律エージェントを持つ。 本研究は, LLMの機能呼び出し能力の向上を, 様々なアプローチを探求することによって研究している。
• 参考スコア（独自算出の注目度）: 15.259077785780667
• License:
• Abstract: Large language models (LLMs) have significantly advanced autonomous agents, particularly in zero-shot tool usage, also known as function calling. This research delves into enhancing the function-calling capabilities of LLMs by exploring different approaches, including prompt formats for integrating function descriptions, blending function-calling and instruction-following data, introducing a novel Decision Token for conditional prompts, leveraging chain-of-thought reasoning, and overcoming multilingual challenges with a translation pipeline. Our key findings and contributions are as follows: (1) Instruction-following data improves both function-calling accuracy and relevance detection. (2) The use of the newly proposed Decision Token, combined with synthetic non-function-call data, enhances relevance detection. (3) A tailored translation pipeline effectively overcomes multilingual limitations, demonstrating significant improvements in Traditional Chinese. These insights highlight the potential for improved function-calling capabilities and multilingual applications in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特にゼロショットツールの使用において、かなり高度な自律エージェントを持つ。 本研究は,関数記述の統合,関数呼び出しと命令追従データをブレンドするプロンプトフォーマット,条件付きプロンプトのための新しい決定トークンの導入,チェーンオブ思考推論の活用,翻訳パイプラインによる多言語課題の克服など,さまざまなアプローチによるLLMの関数呼出能力の向上に重点を置いている。 1)指示追従データにより,機能呼び出し精度と関連性検出が向上する。 2) 新たに提案した決定トークンと合成ノンファンクションコールデータを組み合わせることで, 関連性の検出が促進される。 (3) 適応翻訳パイプラインは、多言語的制限を効果的に克服し、伝統的な中国語で大幅に改善されたことを示す。 これらの知見は、LLMにおける機能呼び出し機能の改善と多言語アプリケーションの可能性を強調している。

関連論文リスト

• Alopex: A Computational Framework for Enabling On-Device Function Calls with LLMs [31.961168273386757]
  AlopexはFox Large Language Modelsを使ってデバイス上で正確な関数呼び出しを可能にするフレームワークである。 データミキシング戦略は破滅的な忘れを軽減し、関数呼び出しデータと教科書データセットを組み合わせて様々なタスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-11-07T22:15:17Z)
• Improving Small-Scale Large Language Models Function Calling for Reasoning Tasks [0.8425561594225592]
  本研究では,関数呼び出しにおいて,より小さな言語モデルを訓練するための新しいフレームワークを提案する。 特定の論理的および数学的推論タスクに焦点を当てている。 このアプローチは,関数呼び出しによるこれらのタスクの小型モデルの性能向上を目的としている。
  論文  参考訳（メタデータ） (2024-10-24T16:27:35Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• 1+1>2: Can Large Language Models Serve as Cross-Lingual Knowledge Aggregators? [46.43162333819418]
  大規模言語モデル(LLM)は、様々な言語にまたがって情報を処理できることから、大きな注目を集めている。 それらの能力にもかかわらず、異なる言語で同じクエリを扱うことに矛盾を示し、さらなる進歩のための課題を提示している。 本稿では,多言語からの知識を集約することで,LLMの多言語的性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T20:32:53Z)
• CLAIM Your Data: Enhancing Imputation Accuracy with Contextual Large Language Models [0.18416014644193068]
  本稿では,精度インプット法(CLAIM)の文脈言語モデルを提案する。 従来の計算法とは異なり、CLAIMは文脈に関連のある自然言語記述子を使用して、欠落した値を埋める。 多様なデータセットや欠落パターンに対する評価は,既存の計算手法よりもCLAIMの方が優れた性能を示している。
  論文  参考訳（メタデータ） (2024-05-28T00:08:29Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Offline RL for Natural Language Generation with Implicit Language Q Learning [87.76695816348027]
  ユーザ指定タスクの完了に関して、大きな言語モデルは矛盾する可能性がある。 本稿では,RLのフレキシブル・ユーティリティ・フレームワークと教師あり学習能力を組み合わせた新しいRL手法を提案する。 ILQLの実証的な検証に加えて、オフラインRLが自然言語生成設定で有用となるような、詳細な経験的分析状況も提示する。
  論文  参考訳（メタデータ） (2022-06-05T18:38:42Z)
• Transducer-based language embedding for spoken language identification [38.60303603000269]
  音響的特徴と言語的特徴は,音声言語識別作業において重要な手がかりである。 近年の先進的なLIDシステムは、言語的特徴符号化を欠いた音響的特徴を主に用いている。 本稿では,RNNトランスデューサモデルを言語埋め込みフレームワークに統合することにより,LIDタスクのための新しいトランスデューサベースの言語埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2022-04-08T07:23:43Z)
• A Framework of Meta Functional Learning for Regularising Knowledge Transfer [89.74127682599898]
  本研究では,データ豊富なタスクから一般化可能な関数型モデルをメタ学習することで,メタ関数型学習(MFL)の新たなフレームワークを提案する。 MFLは、限定ラベル付きデータに対する機能訓練が学習すべきより差別的な機能を促進することにより、異なる学習タスクに一般化可能な機能正規化に関するメタ知識を計算する。
  論文  参考訳（メタデータ） (2022-03-28T15:24:09Z)
• Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
  本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。 文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。 しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
  論文  参考訳（メタデータ） (2021-01-21T00:15:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。