論文の概要: SAGE: Smart home Agent with Grounded Execution
- arxiv url: http://arxiv.org/abs/2311.00772v2
- Date: Fri, 19 Jan 2024 17:14:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 18:40:48.279521
- Title: SAGE: Smart home Agent with Grounded Execution
- Title(参考訳): SAGE: 接地実行によるスマートホームエージェント
- Authors: Dmitriy Rivkin, Francois Hogan, Amal Feriani, Abhisek Konar, Adam
Sigal, Steve Liu, Greg Dudek
- Abstract要約: SAGE(Smart Home Agent with Grounded Execution)は、ユーザがLSM制御された個別アクションのシーケンスをトリガーするスキームを使用することで、制限を克服する。
これらのアクションは、情報検索、ユーザとのインタラクション、デバイス状態の操作に使用することができる。
我々は,SAGEが75%の成功率を達成したスマートホームタスク50のベンチマークを紹介する。
- 参考スコア(独自算出の注目度): 1.5256015470528725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The common sense reasoning abilities and vast general knowledge of Large
Language Models (LLMs) make them a natural fit for interpreting user requests
in a Smart Home assistant context. LLMs, however, lack specific knowledge about
the user and their home limit their potential impact. SAGE (Smart Home Agent
with Grounded Execution), overcomes these and other limitations by using a
scheme in which a user request triggers an LLM-controlled sequence of discrete
actions. These actions can be used to retrieve information, interact with the
user, or manipulate device states. SAGE controls this process through a
dynamically constructed tree of LLM prompts, which help it decide which action
to take next, whether an action was successful, and when to terminate the
process. The SAGE action set augments an LLM's capabilities to support some of
the most critical requirements for a Smart Home assistant. These include:
flexible and scalable user preference management ("is my team playing
tonight?"), access to any smart device's full functionality without
device-specific code via API reading "turn down the screen brightness on my
dryer", persistent device state monitoring ("remind me to throw out the milk
when I open the fridge"), natural device references using only a photo of the
room ("turn on the light on the dresser"), and more. We introduce a benchmark
of 50 new and challenging smart home tasks where SAGE achieves a 75% success
rate, significantly outperforming existing LLM-enabled baselines (30% success
rate).
- Abstract(参考訳): 常識推論能力と大規模言語モデル(llm)に関する膨大な知識は、スマートホームアシスタントコンテキストにおけるユーザの要求を解釈するのに自然に適しています。
しかしLLMには、ユーザとその家庭に関する具体的な知識が欠けているため、その潜在的な影響は制限される。
SAGE(Smart Home Agent with Grounded Execution)は、ユーザがLSM制御された個別アクションのシーケンスをトリガーするスキームを使用することで、これらの制限を克服する。
これらのアクションは、情報の取得、ユーザとのインタラクション、デバイス状態の操作に使用することができる。
SAGEはこのプロセスをLLMプロンプトの動的に構築されたツリーを通じて制御し、次にどのアクションをとるか、アクションが成功したか、いつプロセスを終了するかを決めるのに役立つ。
SAGEアクションセットはLLMの機能を強化し、スマートホームアシスタントの最も重要な要件の一部をサポートする。
フレキシブルでスケーラブルなユーザプライオリティ管理("我がチームが今夜プレイしているか?")、API経由のデバイス固有のコードなしのスマートデバイスの全機能へのアクセス、“ドライヤーの画面輝度を下げる”、永続的なデバイス状態監視(冷蔵庫を開くとミルクを捨てるように推奨する)、部屋の写真のみを使用した自然なデバイス参照("ドレスラーのライトを点灯する")、などです。
我々は、sageが75%の成功率を達成し、既存のllm対応ベースライン(30%成功率)を大きく上回る50の新しい挑戦的なスマートホームタスクのベンチマークを紹介する。
関連論文リスト
- GoEX: Perspectives and Designs Towards a Runtime for Autonomous LLM Applications [46.85306320942487]
大きな言語モデル(LLM)は、ツールに積極的に関与し、現実世界のアプリケーションやサービスでアクションを実行するために進化しています。
現在、人間はLLM生成した出力の正確さと適切性を検証し、それらを実世界の実行に投入している。
コードの理解は、悪名高いほど難しいことで知られています。
本稿では,人類が将来,自律LLMと効率的に協力し,委譲し,監督する方法について検討する。
論文 参考訳(メタデータ) (2024-04-10T11:17:33Z) - User-LLM: Efficient LLM Contextualization with User Embeddings [24.099604517203606]
大規模言語モデル(LLM)のコンテキスト化にユーザ埋め込みを活用する新しいフレームワークであるUser-LLMを提案する。
MovieLens、Amazon Review、Google Local Reviewのデータセットに関する我々の実験は、様々なタスクで大きなパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2024-02-21T08:03:27Z) - KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning
over Knowledge Graph [134.8631016845467]
我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。
KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。
有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
論文 参考訳(メタデータ) (2024-02-17T02:07:49Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Enabling Intelligent Interactions between an Agent and an LLM: A
Reinforcement Learning Approach [33.24651276102073]
大規模言語モデル(LLM)は、大量のテキストデータセットから得られた膨大な量の世界の知識を符号化する。
LLMは、高レベルな命令を提供することで、複雑なシーケンシャルな意思決定タスクを解決するための実施エージェントを支援することができる。
本研究では,高レベルの命令に対してLLMを問合せする必要がある場合に学習する強化学習ベースのアプローチである When2Ask を提案する。
論文 参考訳(メタデータ) (2023-06-06T11:49:09Z) - AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration [54.692405042065815]
大規模言語モデル(LLM)は、多数のアプリケーションの能力を変革した。
エッジデバイス上でのLSMの実行により、レイテンシの低減とユーザエクスペリエンスの向上を実現している。
低ビット量のみの量子化のためのアクティベーション・アウェア・ウェイト量子化(AWQ)を提案する。
論文 参考訳(メタデータ) (2023-06-01T17:59:10Z) - Sasha: Creative Goal-Oriented Reasoning in Smart Homes with Large
Language Models [14.015334285802725]
より自然なコミュニケーションでは、人間のスピーチは制約がなく、特定のターゲットデバイスやそれらのデバイスに対処するアクションを示すのではなく、目標を記述する。
現在のシステムは、人間の状況に関連するデバイスや設定を推論できないため、これらの未特定コマンドを理解できない。
我々は,この問題空間に大規模言語モデル(LLM)を導入し,スマートホームにおける不特定ユーザコマンドへの対応として,デバイス制御と自動化ルーチン作成に利用することを検討した。
論文 参考訳(メタデータ) (2023-05-16T20:52:04Z) - Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。
ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
論文 参考訳(メタデータ) (2023-04-17T09:27:40Z) - "Get ready for a party": Exploring smarter smart spaces with help from
large language models [9.62814345236243]
近年のタスクに依存しない大規模言語モデル(LLM)は,膨大な量のクロスドメイン,時には予測不可能なコンテキスト知識を具現化している。
我々の研究は、スマート環境における文脈認識のためのLLM駆動システムの実現を示唆している。
論文 参考訳(メタデータ) (2023-03-24T16:51:08Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。