論文の概要: AutoLife: Automatic Life Journaling with Smartphones and LLMs
- arxiv url: http://arxiv.org/abs/2412.15714v1
- Date: Fri, 20 Dec 2024 09:37:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-23 16:21:45.171542
- Title: AutoLife: Automatic Life Journaling with Smartphones and LLMs
- Title(参考訳): AutoLife:スマートフォンとLCMを使った自動ライフジャーナリング
- Authors: Huatao Xu, Panron Tong, Mo Li, Mani Srivastava,
- Abstract要約: 本稿では,商用スマートフォンをベースとした自動ライフジャーナリングシステムであるAutoLifeを紹介する。
まず、マルチモーダルセンサデータから時間、動き、位置のコンテキストを導き、大規模言語モデルのゼロショット機能を利用する。
本研究は,リアルタイムデータセットをベンチマークとして確立し,AutoLifeが正確かつ信頼性の高いライフジャーナルを生成することを示す実験結果である。
- 参考スコア(独自算出の注目度): 2.6357059664499674
- License:
- Abstract: This paper introduces a novel mobile sensing application - life journaling - designed to generate semantic descriptions of users' daily lives. We present AutoLife, an automatic life journaling system based on commercial smartphones. AutoLife only inputs low-cost sensor data (without photos or audio) from smartphones and can automatically generate comprehensive life journals for users. To achieve this, we first derive time, motion, and location contexts from multimodal sensor data, and harness the zero-shot capabilities of Large Language Models (LLMs), enriched with commonsense knowledge about human lives, to interpret diverse contexts and generate life journals. To manage the task complexity and long sensing duration, a multilayer framework is proposed, which decomposes tasks and seamlessly integrates LLMs with other techniques for life journaling. This study establishes a real-life dataset as a benchmark and extensive experiment results demonstrate that AutoLife produces accurate and reliable life journals.
- Abstract(参考訳): 本稿では,ユーザの日常生活のセマンティックな記述を生成するための,新しいモバイルセンシングアプリケーションであるライフジャーナリングを紹介する。
本稿では,商用スマートフォンをベースとした自動ライフジャーナリングシステムであるAutoLifeを紹介する。
AutoLifeは、スマートフォンから(写真や音声なしで)低コストのセンサーデータを入力し、ユーザーのために総合的なライフジャーナルを自動生成する。
これを実現するために、まず、マルチモーダルセンサデータから時間、動き、位置コンテキストを導き、Large Language Models (LLMs) のゼロショット機能を利用して、人間の生活に関する常識知識に富み、多様な文脈を解釈し、ライフジャーナルを生成する。
タスクの複雑さと長時間の検知時間を管理するために,タスクを分解し,LCMを他のライフジャーナリング技術とシームレスに統合する多層フレームワークを提案する。
本研究は,リアルタイムデータセットをベンチマークとして確立し,AutoLifeが正確かつ信頼性の高いライフジャーナルを生成することを示す実験結果である。
関連論文リスト
- Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-17T18:49:25Z) - Lifelong Learning of Large Language Model based Agents: A Roadmap [39.01532420650279]
連続的・漸進的な学習として知られる生涯学習は、人工知能(AGI)を前進させる重要な要素である
この調査は、生涯学習を大規模言語モデル(LLM)に組み込むための潜在的テクニックを体系的にまとめる最初のものである。
これらの柱が集合的に連続的な適応を可能にし、破滅的な忘れを軽減し、長期的なパフォーマンスを向上させる方法について強調する。
論文 参考訳(メタデータ) (2025-01-13T12:42:04Z) - X-LeBench: A Benchmark for Extremely Long Egocentric Video Understanding [25.85614872348223]
ロングフォームなエゴセントリックなビデオ理解は、コンテキスト情報と長期的な人間の行動に関する洞察を提供する。
既存のベンチマークデータセットは、主に、単一、短調のビデオ、あるいは適度に長いビデオに焦点を当てている。
X-LeBenchは、極端に長いエゴセントリックなビデオ録画のタスクを評価するために特別に作られた、新しいベンチマークデータセットである。
論文 参考訳(メタデータ) (2025-01-12T15:07:03Z) - Multimodal LLM for Intelligent Transportation Systems [0.0]
本稿では,アプリケーション,機械学習手法,ハードウェア機器の交わりをカプセル化する新しい3次元フレームワークを提案する。
複数の機械学習アルゴリズムを使う代わりに、我々のフレームワークは時系列、画像、ビデオを分析する単一のデータ中心のLLMアーキテクチャを使用する。
我々は,このLLMフレームワークを,Oxford Radar RobotCar,D-Behavior (D-Set),MotionalのnuScenes,Comma2k19など,さまざまなセンサデータセットに適用した。
論文 参考訳(メタデータ) (2024-12-16T11:50:30Z) - Scaling Wearable Foundation Models [54.93979158708164]
センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。
最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。
この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
論文 参考訳(メタデータ) (2024-10-17T15:08:21Z) - From Text to Life: On the Reciprocal Relationship between Artificial Life and Large Language Models [18.888208951616008]
大規模言語モデル(LLM)は、AIの分野を嵐によって捉えてきたが、ALife(Artificial Life)分野への採用は、これまでは比較的限定的だった。
例えば、進化のオペレーターやオープンエンド環境の生成など、ALife研究のツールとしてのLLMの可能性を探る。
論文 参考訳(メタデータ) (2024-06-14T07:45:32Z) - Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex Scenarios [93.68764280953624]
UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。
現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。
UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
論文 参考訳(メタデータ) (2024-01-30T16:52:56Z) - DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language Models (Exemplified as A Video Agent) [73.10899129264375]
本稿では,LLMによる動的シーン理解のための包括的かつ概念的にエレガントなシステムであるドラモンGPTについて検討する。
質問/タスクのあるビデオが与えられた場合、DoraemonGPTは入力されたビデオをタスク関連の属性を格納するシンボリックメモリに変換することから始める。
我々は,DoraemonGPTの有効性を,3つのベンチマークといくつかのアプリ内シナリオで広範囲に評価した。
論文 参考訳(メタデータ) (2024-01-16T14:33:09Z) - LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning [64.55001982176226]
LIBEROは、ロボット操作のための生涯学習の新しいベンチマークである。
宣言的知識、手続き的知識、あるいは両者の混在を効率的に伝達する方法に焦点を当てる。
我々は、無限に多くのタスクを生成できる拡張可能な手続き生成パイプラインを開発した。
論文 参考訳(メタデータ) (2023-06-05T23:32:26Z) - Clustering and Analysis of GPS Trajectory Data using Distance-based
Features [20.91019606657394]
そこで我々は,新たなモビリティ指標であるDaily Characteristics Distanceを提案する。
次に、これらの機能を教師なしの機械学習手法、$k$-meansクラスタリングで使用し、各タイプのユーザ(WorkdayとOffday)に対して3つのクラスタを取得する。
本稿では,クラスタリング結果,すなわちユーザ共通性と平均周波数の分析のための2つの新しい指標を提案する。
論文 参考訳(メタデータ) (2022-12-01T01:25:49Z) - Diverse Complexity Measures for Dataset Curation in Self-driving [80.55417232642124]
トラフィックシーンの面白さを定量化する多様な基準を活用した新たなデータ選択手法を提案する。
実験の結果,提案するキュレーションパイプラインは,より汎用的で高いパフォーマンスをもたらすデータセットを選択できることが判明した。
論文 参考訳(メタデータ) (2021-01-16T23:45:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。