論文の概要: TL-Training: A Task-Feature-Based Framework for Training Large Language Models in Tool Use

• arxiv url: http://arxiv.org/abs/2412.15495v1
• Date: Fri, 20 Dec 2024 02:21:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:22:14.269560
• Title: TL-Training: A Task-Feature-Based Framework for Training Large Language Models in Tool Use
• Title（参考訳）: TL-Training: ツール使用時の大規模言語モデルのトレーニングのためのタスク機能ベースのフレームワーク
• Authors: Junjie Ye, Yilong Wu, Sixian Li, Yuming Yang, Tao Gui, Qi Zhang, Xuanjing Huang, Peng Wang, Zhongchao Shi, Jianping Fan, Zhengyin Du,
• Abstract要約: 大規模言語モデル(LLM)は、外部環境と対話するツールを活用することで、目覚ましい進歩を遂げる。 大規模なデータセットに依存する標準教師付き微調整アプローチでは、ツール使用時のタスク固有の特性を見落としていることが多い。 本稿では,最適下トレーニングデータの効果を緩和するタスク機能ベースのフレームワークであるTL-Trainingを提案する。
• 参考スコア（独自算出の注目度）: 46.20445033086643
• License:
• Abstract: Large language models (LLMs) achieve remarkable advancements by leveraging tools to interact with external environments, a critical step toward generalized AI. However, the standard supervised fine-tuning (SFT) approach, which relies on large-scale datasets, often overlooks task-specific characteristics in tool use, leading to performance bottlenecks. To address this issue, we analyze three existing LLMs and uncover key insights: training data can inadvertently impede tool-use behavior, token importance is distributed unevenly, and errors in tool calls fall into a small set of distinct categories. Building on these findings, we propose TL-Training, a task-feature-based framework that mitigates the effects of suboptimal training data, dynamically adjusts token weights to prioritize key tokens during SFT, and incorporates a robust reward mechanism tailored to error categories, optimized through proximal policy optimization. We validate TL-Training by training CodeLLaMA-2-7B and evaluating it on four diverse open-source test sets. Our results demonstrate that the LLM trained by our method matches or surpasses both open- and closed-source LLMs in tool-use performance using only 1,217 training data points. Additionally, our method enhances robustness in noisy environments and improves general task performance, offering a scalable and efficient paradigm for tool-use training in LLMs. The code and data are available at https://github.com/Junjie-Ye/TL-Training.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、汎用AIへの重要なステップである、外部環境と対話するツールを活用することで、目覚ましい進歩を達成する。 しかし、大規模なデータセットに依存する標準の教師付き微調整(SFT)アプローチは、ツール使用時のタスク固有の特徴を見落とし、パフォーマンスのボトルネックにつながることが多い。 この問題を解決するために、我々は既存の3つのLCMを分析し、重要な洞察を明らかにする: トレーニングデータはツール使用の振る舞いを不注意に妨げ、トークンの重要性は不均一に分散され、ツールコールにおけるエラーは、小さなカテゴリに分類される。 これらの知見に基づいて,タスク機能ベースのフレームワークであるTL-Trainingを提案する。このフレームワークは,最適でないトレーニングデータの影響を緩和し,トークン重みを動的に調整し,SFT中のキートークンの優先順位付けを行う。 CodeLLaMA-2-7BをトレーニングしてTL-Trainingを検証する。 提案手法によりトレーニングされたLLMは,1,217のトレーニングデータポイントのみを用いて,オープンソースLLMとクローズドソースLLMの双方に適合するか,あるいは超えていることを示す。 さらに,LLMにおけるツール・ユース・トレーニングのためのスケーラブルで効率的なパラダイムを提供することにより,ノイズの多い環境におけるロバスト性を高め,汎用タスク性能を向上させる。 コードとデータはhttps://github.com/Junjie-Ye/TL-Training.comで公開されている。

関連論文リスト

• Data-Efficient Massive Tool Retrieval: A Reinforcement Learning Approach for Query-Tool Alignment with Language Models [28.67532617021655]
  外部ツールやAPIと統合された大規模言語モデル(LLM)は、コンテキスト内学習や微調整によって複雑なタスクにうまく対応している。 この進歩にもかかわらず、厳密な入力長制約のため、ツール検索の大規模化は依然として困難である。 本稿では,大規模なツール検索(MTR)タスクとして,大規模リポジトリからの事前検索戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-04T07:58:05Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• MAML-en-LLM: Model Agnostic Meta-Training of LLMs for Improved In-Context Learning [43.512739869120125]
  大規模言語モデル(LLM)のメタトレーニング手法であるMAML-en-LLMを提案する。 MAML-en-LLMは、解離したタスクでうまく機能するだけでなく、目に見えないタスクに適応する真の一般化可能なパラメータを学習することができる。 我々は、MAML-en-LLMが、目に見えないドメインと見えないドメインのトレーニングデータが少ない設定において、ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-19T04:49:42Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• When to Use Multi-Task Learning vs Intermediate Fine-Tuning for Pre-Trained Encoder Transfer Learning [15.39115079099451]
  近年,自然言語処理における伝達学習(TL)への関心が高まっている。 微調整中に複数の教師付きデータセットを使用するための3つの主要な戦略が登場した。 GLUEデータセットの包括的解析において,3つのTL手法を比較した。
  論文  参考訳（メタデータ） (2022-05-17T06:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。