論文の概要: AutoLife: Automatic Life Journaling with Smartphones and LLMs
- arxiv url: http://arxiv.org/abs/2412.15714v2
- Date: Mon, 23 Dec 2024 10:45:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 12:13:28.015636
- Title: AutoLife: Automatic Life Journaling with Smartphones and LLMs
- Title(参考訳): AutoLife:スマートフォンとLCMを使った自動ライフジャーナリング
- Authors: Huatao Xu, Panrong Tong, Mo Li, Mani Srivastava,
- Abstract要約: 本稿では,商用スマートフォンをベースとした自動ライフジャーナリングシステムであるAutoLifeを紹介する。
まず、マルチモーダルセンサデータから時間、動き、位置のコンテキストを導き、大規模言語モデルのゼロショット機能を利用する。
本研究は,リアルタイムデータセットをベンチマークとして確立し,AutoLifeが正確かつ信頼性の高いライフジャーナルを生成することを示す実験結果である。
- 参考スコア(独自算出の注目度): 3.6556681953962915
- License:
- Abstract: This paper introduces a novel mobile sensing application - life journaling - designed to generate semantic descriptions of users' daily lives. We present AutoLife, an automatic life journaling system based on commercial smartphones. AutoLife only inputs low-cost sensor data (without photos or audio) from smartphones and can automatically generate comprehensive life journals for users. To achieve this, we first derive time, motion, and location contexts from multimodal sensor data, and harness the zero-shot capabilities of Large Language Models (LLMs), enriched with commonsense knowledge about human lives, to interpret diverse contexts and generate life journals. To manage the task complexity and long sensing duration, a multilayer framework is proposed, which decomposes tasks and seamlessly integrates LLMs with other techniques for life journaling. This study establishes a real-life dataset as a benchmark and extensive experiment results demonstrate that AutoLife produces accurate and reliable life journals.
- Abstract(参考訳): 本稿では,ユーザの日常生活のセマンティックな記述を生成するための,新しいモバイルセンシングアプリケーションであるライフジャーナリングを紹介する。
本稿では,商用スマートフォンをベースとした自動ライフジャーナリングシステムであるAutoLifeを紹介する。
AutoLifeは、スマートフォンから(写真や音声なしで)低コストのセンサーデータを入力し、ユーザーのために総合的なライフジャーナルを自動生成する。
これを実現するために、まず、マルチモーダルセンサデータから時間、動き、位置コンテキストを導き、Large Language Models (LLMs) のゼロショット機能を利用して、人間の生活に関する常識知識に富み、多様な文脈を解釈し、ライフジャーナルを生成する。
タスクの複雑さと長時間の検知時間を管理するために,タスクを分解し,LCMを他のライフジャーナリング技術とシームレスに統合する多層フレームワークを提案する。
本研究は,リアルタイムデータセットをベンチマークとして確立し,AutoLifeが正確かつ信頼性の高いライフジャーナルを生成することを示す実験結果である。
関連論文リスト
- Scaling Wearable Foundation Models [54.93979158708164]
センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。
最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。
この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
論文 参考訳(メタデータ) (2024-10-17T15:08:21Z) - From Text to Life: On the Reciprocal Relationship between Artificial Life and Large Language Models [18.888208951616008]
大規模言語モデル(LLM)は、AIの分野を嵐によって捉えてきたが、ALife(Artificial Life)分野への採用は、これまでは比較的限定的だった。
例えば、進化のオペレーターやオープンエンド環境の生成など、ALife研究のツールとしてのLLMの可能性を探る。
論文 参考訳(メタデータ) (2024-06-14T07:45:32Z) - Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex Scenarios [93.68764280953624]
UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。
現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。
UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
論文 参考訳(メタデータ) (2024-01-30T16:52:56Z) - DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language Models (Exemplified as A Video Agent) [73.10899129264375]
本稿では,LLMによる動的シーン理解のための包括的かつ概念的にエレガントなシステムであるドラモンGPTについて検討する。
質問/タスクのあるビデオが与えられた場合、DoraemonGPTは入力されたビデオをタスク関連の属性を格納するシンボリックメモリに変換することから始める。
我々は,DoraemonGPTの有効性を,3つのベンチマークといくつかのアプリ内シナリオで広範囲に評価した。
論文 参考訳(メタデータ) (2024-01-16T14:33:09Z) - LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning [64.55001982176226]
LIBEROは、ロボット操作のための生涯学習の新しいベンチマークである。
宣言的知識、手続き的知識、あるいは両者の混在を効率的に伝達する方法に焦点を当てる。
我々は、無限に多くのタスクを生成できる拡張可能な手続き生成パイプラインを開発した。
論文 参考訳(メタデータ) (2023-06-05T23:32:26Z) - Clustering and Analysis of GPS Trajectory Data using Distance-based
Features [20.91019606657394]
そこで我々は,新たなモビリティ指標であるDaily Characteristics Distanceを提案する。
次に、これらの機能を教師なしの機械学習手法、$k$-meansクラスタリングで使用し、各タイプのユーザ(WorkdayとOffday)に対して3つのクラスタを取得する。
本稿では,クラスタリング結果,すなわちユーザ共通性と平均周波数の分析のための2つの新しい指標を提案する。
論文 参考訳(メタデータ) (2022-12-01T01:25:49Z) - Prompt Conditioned VAE: Enhancing Generative Replay for Lifelong
Learning in Task-Oriented Dialogue [80.05509768165135]
生成的再生法は、過去の知識と生成された擬似サンプルを統合するために広く用いられている。
既存の生成的再生法の多くは、モデルを制御するために単一のタスク固有のトークンのみを使用する。
本稿では,タスクの統計を取り入れて生成的再生を向上させるために,生涯学習のための新しい条件付きVAEを提案する。
論文 参考訳(メタデータ) (2022-10-14T13:12:14Z) - Information We Can Extract About a User From 'One Minute Mobile
Application Usage' [0.0]
本稿では,アンドロイドスマートフォンの加速度計,磁力計,ジャイロセンサを用いて,さまざまな人間の活動を抽出した。
Facebook、Instagram、Whatsapp、Twitterなど、さまざまなソーシャルメディアアプリケーションを使用して、19ドルの被験者の属性とともに、生のセンサー値を抽出しました。
生信号から特徴を抽出し、異なる機械学習(ML)アルゴリズムを用いて分類を行う。
論文 参考訳(メタデータ) (2022-07-27T00:23:11Z) - Diverse Complexity Measures for Dataset Curation in Self-driving [80.55417232642124]
トラフィックシーンの面白さを定量化する多様な基準を活用した新たなデータ選択手法を提案する。
実験の結果,提案するキュレーションパイプラインは,より汎用的で高いパフォーマンスをもたらすデータセットを選択できることが判明した。
論文 参考訳(メタデータ) (2021-01-16T23:45:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。