論文の概要: TinyAgent: Function Calling at the Edge

• arxiv url: http://arxiv.org/abs/2409.00608v2
• Date: Fri, 25 Oct 2024 01:16:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 03:46:24.916460
• Title: TinyAgent: Function Calling at the Edge
• Title（参考訳）: TinyAgent: エッジでの関数呼び出し
• Authors: Lutfi Eren Erdogan, Nicholas Lee, Siddharth Jha, Sehoon Kim, Ryan Tabrizi, Suhong Moon, Coleman Hooper, Gopala Anumanchipalli, Kurt Keutzer, Amir Gholami,
• Abstract要約: 本稿では,エッジ上でエージェントシステムを駆動するための関数呼び出しが可能なタスク固有小言語モデルエージェントの訓練とデプロイのためのエンドツーエンドフレームワークを提案する。 駆動アプリケーションとして、テキストや音声入力によるユーザコマンドの実行が可能な、AppleのMacBook用のローカルSiriライクなシステムをデモする。
• 参考スコア（独自算出の注目度）: 32.174966522801746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent large language models (LLMs) have enabled the development of advanced agentic systems that can integrate various tools and APIs to fulfill user queries through function calling. However, the deployment of these LLMs on the edge has not been explored since they typically require cloud-based infrastructure due to their substantial model size and computational demands. To this end, we present TinyAgent, an end-to-end framework for training and deploying task-specific small language model agents capable of function calling for driving agentic systems at the edge. We first show how to enable accurate function calling for open-source models via the LLMCompiler framework. We then systematically curate a high-quality dataset for function calling, which we use to fine-tune two small language models, TinyAgent-1.1B and 7B. For efficient inference, we introduce a novel tool retrieval method to reduce the input prompt length and utilize quantization to further accelerate the inference speed. As a driving application, we demonstrate a local Siri-like system for Apple's MacBook that can execute user commands through text or voice input. Our results show that our models can achieve, and even surpass, the function-calling capabilities of larger models like GPT-4-Turbo, while being fully deployed at the edge. We open-source our dataset, models, and installable package and provide a demo video for our MacBook assistant agent.
• Abstract（参考訳）: 近年の大規模言語モデル (LLM) により,様々なツールやAPIを統合して,関数呼び出しによるユーザクエリを満足する高度なエージェントシステムの開発が可能になった。 しかしながら、これらのLSMのエッジへの展開は、モデルのサイズや計算上の要求がかなり大きいため、一般的にクラウドベースのインフラを必要とするため、検討されていない。 この目的のために,タスク固有の小言語モデルエージェントを訓練し,デプロイするためのエンドツーエンドフレームワークであるTinyAgentを紹介した。 まず、LLMCompilerフレームワークを介して、オープンソースモデルの正確な関数呼び出しを可能にする方法を示す。 次に,関数呼び出しのための高品質なデータセットを体系的にキュレートし,TinyAgent-1.1Bと7Bの2つの小言語モデルを微調整する。 効率的な推論のために,入力プロンプト長を削減し,量子化を利用して推論速度をさらに高速化する新しいツール検索手法を提案する。 駆動アプリケーションとして、テキストや音声入力によるユーザコマンドの実行が可能な、AppleのMacBook用のローカルSiriライクなシステムをデモする。 以上の結果から,GPT-4-Turboのような大規模モデルの機能呼び出し能力は,エッジに完全に展開しつつ実現可能であることが示された。 私たちはデータセット、モデル、インストール可能なパッケージをオープンソース化し、MacBookアシスタントエージェントのデモビデオを提供しています。

関連論文リスト

• CAMPHOR: Collaborative Agents for Multi-input Planning and High-Order Reasoning On Device [2.4100803794273005]
  本稿では、複数のユーザ入力を処理し、個人的コンテキストを局所的に理性的に扱うように設計された、オンデバイス・スモールランゲージ・モデル(SLM)フレームワークを提案する。 CAMPHORは階層的アーキテクチャを採用しており、高階推論エージェントは複雑なタスクを分解し、個人のコンテキスト検索、ツールインタラクション、動的プラン生成に責任を持つ専門家エージェントを調整する。 エージェント間でパラメータ共有を実装し、即時圧縮を活用することにより、モデルサイズ、レイテンシ、メモリ使用量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-10-12T07:28:10Z)
• Granite-Function Calling Model: Introducing Function Calling Abilities via Multi-task Learning of Granular Tasks [35.97890508648945]
  我々はApache 2.0ライセンスの下で-20B-FUNCTIONCALLINGモデルを紹介します。 モデルは7つの基本的なタスクに対してマルチタスクトレーニングアプローチを使用してトレーニングされる。 20B-FUNCTIONCALLINGは、7つの異なる評価データセットにおいて、複数のタスクに対してより一般化可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-27T17:47:26Z)
• Small Agent Can Also Rock! Empowering Small Language Models as Hallucination Detector [114.88975874411142]
  幻覚検出は大規模言語モデル(LLM)にとって難しい課題である 本稿では,HluAgentと呼ばれる自律型LLMエージェントフレームワークを提案する。 HaluAgentでは、LLM、多機能ツールボックスを統合し、きめ細かい3段階検出フレームワークを設計する。
  論文  参考訳（メタデータ） (2024-06-17T07:30:05Z)
• CAAP: Context-Aware Action Planning Prompting to Solve Computer Tasks with Front-End UI Only [21.054681757006385]
  本稿では,スクリーンショット画像のみを通して環境を知覚するエージェントを提案する。 大規模言語モデルの推論能力を活用することで,大規模人間の実演データの必要性を解消する。 AgentはMiniWoB++の平均成功率は94.5%、WebShopの平均タスクスコアは62.3である。
  論文  参考訳（メタデータ） (2024-06-11T05:21:20Z)
• MIMIR: A Streamlined Platform for Personalized Agent Tuning in Domain Expertise [49.83486066403154]
  textscMimirは、パーソナライズされたエージェントチューニングのためのカスタマイズ可能なパイプラインを提供する、合理化されたプラットフォームである。 textscMimirは、同じ入力から一般的な命令チューニングデータセットの生成をサポートする。 textscMimirはこれらの機能を統合されたエンドツーエンドプラットフォームに統合し、パーソナライズされたファイルのアップロードからワンクリックエージェントの微調整まで、あらゆることを容易にする。
  論文  参考訳（メタデータ） (2024-04-03T23:42:38Z)
• DiffAgent: Fast and Accurate Text-to-Image API Selection with Large Language Model [90.71963723884944]
  テキスト・ツー・イメージ(T2I)生成モデルは非常に注目され、学術研究の内外に広く応用されている。 DiffAgentは、APIコールを介して、正確な選択を秒単位でスクリーニングするように設計されたエージェントである。 評価の結果,DiffAgentは適切なT2I APIの同定に優れるだけでなく,SFTAトレーニングフレームワークの有効性も裏付けることがわかった。
  論文  参考訳（メタデータ） (2024-03-31T06:28:15Z)
• ModelScope-Agent: Building Your Customizable Agent System with Open-source Large Language Models [74.64651681052628]
  本稿では,オープンソースのLCMをコントローラとする実世界のアプリケーションのためのカスタマイズ可能なエージェントフレームワークであるModelScope-Agentを紹介する。 ユーザフレンドリーなシステムライブラリを提供し、カスタマイズ可能なエンジン設計により、複数のオープンソースLLMでモデルトレーニングをサポートする。 ツール使用データ収集、ツール検索、ツール登録、メモリ制御、カスタマイズされたモデルトレーニング、評価にまたがる包括的なフレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-09-02T16:50:30Z)
• Recommender AI Agent: Integrating Large Language Models for Interactive Recommendations [53.76682562935373]
  我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。 InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
  論文  参考訳（メタデータ） (2023-08-31T07:36:44Z)
• Prompt2Model: Generating Deployable Models from Natural Language Instructions [74.19816829003729]
  大規模言語モデル(LLM)により、システムビルダーはプロンプトによって有能なNLPシステムを作成することができる。 言い換えれば、LSMは従来の特殊目的のNLPモデルとは逆のステップである。 本稿では,LLMに提供されるプロンプトのように自然言語によるタスク記述を行う汎用手法であるPrompt2Modelを提案する。
  論文  参考訳（メタデータ） (2023-08-23T17:28:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。