論文の概要: Sasha: creative goal-oriented reasoning in smart homes with large
language models
- arxiv url: http://arxiv.org/abs/2305.09802v2
- Date: Thu, 16 Nov 2023 19:27:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 19:34:47.796504
- Title: Sasha: creative goal-oriented reasoning in smart homes with large
language models
- Title（参考訳）: sasha: 大きな言語モデルを持つスマートホームにおける創造的目標指向推論
- Authors: Evan King, Haoxiang Yu, Sangsu Lee, Christine Julien
- Abstract要約: より自然なコミュニケーションでは、人間のスピーチは制約がなく、特定のターゲットデバイスやそれらのデバイスに対処するアクションを示すのではなく、目標を記述する。
我々は,この問題空間に大規模言語モデル(LLM)を導入し,スマートホームにおける不特定ユーザコマンドへの対応として,デバイス制御と自動化ルーチン作成の活用を探求する。
我々は,制約のないユーザ生成シナリオに直面した場合に,その能力と限界を示す,手持ちのユーザスタディでSashaの実装を評価した。
- 参考スコア（独自算出の注目度）: 14.015334285802725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Smart home assistants function best when user commands are direct and
well-specified (e.g., "turn on the kitchen light"), or when a hard-coded
routine specifies the response. In more natural communication, however, human
speech is unconstrained, often describing goals (e.g., "make it cozy in here"
or "help me save energy") rather than indicating specific target devices and
actions to take on those devices. Current systems fail to understand these
under-specified commands since they cannot reason about devices and settings as
they relate to human situations. We introduce large language models (LLMs) to
this problem space, exploring their use for controlling devices and creating
automation routines in response to under-specified user commands in smart
homes. We empirically study the baseline quality and failure modes of
LLM-created action plans with a survey of age-diverse users. We find that LLMs
can reason creatively to achieve challenging goals, but they experience
patterns of failure that diminish their usefulness. We address these gaps with
Sasha, a smarter smart home assistant. Sasha responds to loosely-constrained
commands like "make it cozy" or "help me sleep better" by executing plans to
achieve user goals, e.g., setting a mood with available devices, or devising
automation routines. We evaluate our implementation of Sasha in a hands-on user
study, showing its capabilities and limitations when faced with unconstrained
user-generated scenarios.
- Abstract（参考訳）: スマートホームアシスタントは、ユーザーコマンドが直接的でよく特定されたとき(例えば「キッチンライトをオン」)、またはハードコードされたルーチンが応答を指定するときに最もよく機能する。
しかし、より自然なコミュニケーションでは、人間のスピーチは訓練されていないため、特定のターゲットデバイスやそれらのデバイスで実行するアクションを示すのではなく、目標(例えば「ここを快適にする」や「省エネを手助けする」など)を記述することが多い。
現在のシステムは、人間の状況に関連するデバイスや設定を推論できないため、これらの未特定コマンドを理解できない。
我々は,この問題空間に大規模言語モデル(LLM)を導入し,スマートホームにおける不特定ユーザコマンドへの対応として,デバイス制御と自動化ルーチン作成の活用を探求する。
LLMによるアクションプランのベースライン品質と障害モードを年齢差ユーザを対象に実証研究を行った。
LLMは創造的に挑戦的な目標を達成することができるが、その有用性を損なうような失敗のパターンを経験する。
スマートホームアシスタントのSashaでは、これらのギャップに対処しています。
sashaは、例えば利用可能なデバイスで気分を設定する、自動化ルーチンを開発するなど、ユーザの目標を達成するための計画を実行することで、ゆるやかに制約されたコマンドに応答する。
我々は,制約のないユーザ生成シナリオに直面すると,その能力と限界を示すとともに,sashaの実装をハンズオンユーザスタディで評価した。
関連論文リスト
- Learning to Ask: When LLMs Meet Unclear Instruction [49.256630152684764]
大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。
我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。
Ask-when-Needed (AwN) という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-31T23:06:12Z) - Automation Configuration in Smart Home Systems: Challenges and Opportunities [9.716646750290913]
Home Assistant(HA)は、スマートホームの最も人気のあるプラットフォームの一つだ。
エンドユーザは(S1)選択したデバイスをシステムに統合し、(S2)それらのデバイスを制御するYAMLファイルを作成することで、ホームをスマート化することができる。
残念なことに、デバイスの多様性と自動構成の複雑さのため、多くのユーザはYAMLファイルを正しく作成することが難しい。
論文 参考訳（メタデータ） (2024-08-08T21:05:44Z) - WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
大型言語モデル(LLM)は人間のような知性を模倣することができる。
WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
論文 参考訳（メタデータ） (2024-07-07T07:15:49Z) - Me, Myself, and AI: The Situational Awareness Dataset (SAD) for LLMs [38.86647602211699]
ChatGPTのようなAIアシスタントは、"私は大きな言語モデルです"と言うことで、ユーザに応答するように訓練されています。
一般への展開など,現在の状況に気付いていますか?
我々は、モデル自身の知識とその状況について、状況認識として言及する。
論文 参考訳（メタデータ） (2024-07-05T17:57:02Z) - Thoughtful Things: Building Human-Centric Smart Devices with Small Language Models [11.28560308392842]
本研究では,制約のないユーザコマンドに応答して動作を記述し,動作を説明するデバイスのためのフレームワークを提案する。
当社のフレームワークはラベル付きデータを必要とせず、クラウド依存なしにデバイス上でデプロイできます。
我々は、2つの思慮深いもの(ランプとサーモスタット)を実装し、それらを実際のハードウェアにデプロイし、その実用性能を評価する。
論文 参考訳（メタデータ） (2024-05-06T20:04:53Z) - DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language Models (Exemplified as A Video Agent) [73.10899129264375]
本稿では,LLMによる動的シーン理解のための包括的かつ概念的にエレガントなシステムであるドラモンGPTについて検討する。
質問/タスクのあるビデオが与えられた場合、DoraemonGPTは入力されたビデオをタスク関連の属性を格納するシンボリックメモリに変換することから始める。
我々は,DoraemonGPTの有効性を,3つのベンチマークといくつかのアプリ内シナリオで広範囲に評価した。
論文 参考訳（メタデータ） (2024-01-16T14:33:09Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳（メタデータ） (2023-12-11T22:54:44Z) - SAGE: Smart home Agent with Grounded Execution [1.5256015470528725]
SAGE(Smart Home Agent with Grounded Execution)は、ユーザがLSM制御された個別アクションのシーケンスをトリガーするスキームを使用することで、制限を克服する。
これらのアクションは、情報検索、ユーザとのインタラクション、デバイス状態の操作に使用することができる。
我々は,SAGEが75%の成功率を達成したスマートホームタスク50のベンチマークを紹介する。
論文 参考訳（メタデータ） (2023-11-01T18:36:28Z) - "Get ready for a party": Exploring smarter smart spaces with help from
large language models [9.62814345236243]
近年のタスクに依存しない大規模言語モデル(LLM)は,膨大な量のクロスドメイン,時には予測不可能なコンテキスト知識を具現化している。
我々の研究は、スマート環境における文脈認識のためのLLM駆動システムの実現を示唆している。
論文 参考訳（メタデータ） (2023-03-24T16:51:08Z) - Guiding Pretraining in Reinforcement Learning with Large Language Models [133.32146904055233]
テキストコーパスからの背景知識を用いて探索を図形化する手法について述べる。
このメソッドはELLMと呼ばれ、言語モデルによって提案される目標を達成するエージェントに報酬を与える。
大規模な言語モデルの事前訓練を活用することで、ELLMはエージェントをループに人間を必要とせず、人間に有意義で、もっとも有用な行動へと導く。
論文 参考訳（メタデータ） (2023-02-13T21:16:03Z) - Language Models as Zero-Shot Planners: Extracting Actionable Knowledge
for Embodied Agents [111.33545170562337]
自然言語で表現された高レベルなタスクを、選択された実行可能なステップのセットに基底付ける可能性について検討する。
事前学習したLMが十分に大きく、適切に誘導された場合、ハイレベルなタスクを効果的に低レベルな計画に分解できることがわかった。
本稿では,既存の実演の条件を規定し,計画が許容可能な行動に意味的に変換される手順を提案する。
論文 参考訳（メタデータ） (2022-01-18T18:59:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。