論文の概要: Gensors: Authoring Personalized Visual Sensors with Multimodal Foundation Models and Reasoning

• arxiv url: http://arxiv.org/abs/2501.15727v1
• Date: Mon, 27 Jan 2025 01:47:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:55:07.422242
• Title: Gensors: Authoring Personalized Visual Sensors with Multimodal Foundation Models and Reasoning
• Title（参考訳）: Gensors: マルチモーダル基礎モデルと推論によるパーソナライズされた視覚センサのオーサリング
• Authors: Michael Xieyang Liu, Savvas Petridis, Vivian Tsai, Alexander J. Fiannaca, Alex Olwal, Michael Terry, Carrie J. Cai,
• Abstract要約: Gensorsは、ユーザがMLLMの推論能力によってサポートされているカスタマイズされたセンサーを定義することを可能にするシステムである。 ユーザスタディでは、Gensorsを用いてセンサーを定義するとき、参加者はコントロール、理解、コミュニケーションの容易さを著しく向上させた。
• 参考スコア（独自算出の注目度）: 61.17099595835263
• License:
• Abstract: Multimodal large language models (MLLMs), with their expansive world knowledge and reasoning capabilities, present a unique opportunity for end-users to create personalized AI sensors capable of reasoning about complex situations. A user could describe a desired sensing task in natural language (e.g., "alert if my toddler is getting into mischief"), with the MLLM analyzing the camera feed and responding within seconds. In a formative study, we found that users saw substantial value in defining their own sensors, yet struggled to articulate their unique personal requirements and debug the sensors through prompting alone. To address these challenges, we developed Gensors, a system that empowers users to define customized sensors supported by the reasoning capabilities of MLLMs. Gensors 1) assists users in eliciting requirements through both automatically-generated and manually created sensor criteria, 2) facilitates debugging by allowing users to isolate and test individual criteria in parallel, 3) suggests additional criteria based on user-provided images, and 4) proposes test cases to help users "stress test" sensors on potentially unforeseen scenarios. In a user study, participants reported significantly greater sense of control, understanding, and ease of communication when defining sensors using Gensors. Beyond addressing model limitations, Gensors supported users in debugging, eliciting requirements, and expressing unique personal requirements to the sensor through criteria-based reasoning; it also helped uncover users' "blind spots" by exposing overlooked criteria and revealing unanticipated failure modes. Finally, we discuss how unique characteristics of MLLMs--such as hallucinations and inconsistent responses--can impact the sensor-creation process. These findings contribute to the design of future intelligent sensing systems that are intuitive and customizable by everyday users.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、世界知識の拡大と推論能力によって、複雑な状況を推論できるパーソナライズされたAIセンサーをエンドユーザが作成するユニークな機会を提供する。 MLLMはカメラのフィードを分析し、数秒以内に応答する。 フォーマティブな研究で、ユーザーは独自のセンサーを定義することにかなりの価値を見出したが、独自の個人的要求を明確にし、刺激だけでセンサーをデバッグすることに苦労した。 これらの課題に対処するため、我々は、ユーザーがMLLMの推論能力によってサポートされているカスタマイズされたセンサーを定義できるようにするシステムであるGensorsを開発した。 系譜 1)自動生成と手動生成の両方のセンサ基準により,利用者の要求を抽出する支援を行う。 2) ユーザが個別の基準を並列に分離し、テストできるようにすることで、デバッグを容易にする。 3)ユーザ提供画像に基づく追加基準の提案,及び 4) 潜在的に予期せぬシナリオにおけるセンサの"ストレステスト"を支援するテストケースを提案する。 ユーザスタディでは、Gensorsを用いてセンサーを定義するとき、参加者はコントロール、理解、コミュニケーションの容易さを著しく向上させた。 モデル制限への対処以外にも、Gensorsは、デバッグ、要件の抽出、基準ベースの推論を通じてセンサにユニークな個人的要求を表現することをサポートし、見過ごされた基準を明らかにし、予期しない障害モードを明らかにすることで、ユーザの"盲点"を明らかにするのにも役立った。 最後に,幻覚や不整合反応などのMLLMのユニークな特徴が,センサ生成プロセスにどのように影響するかを論じる。 これらの知見は、日常のユーザによって直感的でカスタマイズ可能な未来のインテリジェントセンシングシステムの設計に寄与する。

関連論文リスト

• ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs [72.13489820420726]
  ProSAは、大規模な言語モデルにおいて、迅速な感度を評価し、理解するために設計されたフレームワークである。 我々の研究は、データセットやモデル間で迅速に感度が変動することを発見し、より大きなモデルでは堅牢性が向上することを示した。
  論文  参考訳（メタデータ） (2024-10-16T09:38:13Z)
• SensorBench: Benchmarking LLMs in Coding-Based Sensor Processing [6.8009140511761546]
  大規模言語モデル(LLM)は、知覚データを処理する上で有望な能力を持ち、センサーシステムを開発するための副操縦士としての可能性を示している。 我々は,定量化のための総合的なベンチマークであるSensorBenchを構築した。 以上の結果から,LLMは単純なタスクでかなりの習熟度を示す一方で,構成タスクの処理において固有の課題に直面していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-14T17:21:39Z)
• SensorLLM: Aligning Large Language Models with Motion Sensors for Human Activity Recognition [9.072495000412943]
  我々は、Large Language Models(LLM)が人間の活動認識(HAR)のような時系列タスクを理解できるようにすることで、ウェアラブルセンサー技術とパーソナライズされたAIアシスタントのギャップを埋める。 センサデータタスクに対するLLMのポテンシャルを解放する2段階フレームワークであるSensorLLMを紹介する。 我々は,SensorLLMが効果的なセンサ学習者,推論者,学習者へと進化し,HARタスクのための多様なデータセットをまたいで一般化できることを示す。
  論文  参考訳（メタデータ） (2024-10-14T15:30:41Z)
• Towards Empathetic Conversational Recommender Systems [77.53167131692]
  本稿では,共感型会話レコメンデータ(ECR)フレームワークを提案する。 ECRには、感情対応アイテムレコメンデーションと感情対応応答生成という、2つの主要なモジュールが含まれている。 ReDialデータセットの実験は、推奨精度を高め、ユーザの満足度を向上させる上で、我々のフレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2024-08-30T15:43:07Z)
• LLMSense: Harnessing LLMs for High-level Reasoning Over Spatiotemporal Sensor Traces [1.1137304094345333]
  我々は,大規模言語モデル(LLM)の高レベル推論タスクに有効なプロンプトフレームワークを設計する。 また,長いセンサトレースによる性能向上のための2つの戦略を設計する。 当社のフレームワークはエッジクラウドで実装可能で,データ要約やプライバシ保護のためにクラウド上での高レベルの推論を行うために,エッジ上で小さなLLMを実行することができる。
  論文  参考訳（メタデータ） (2024-03-28T22:06:04Z)
• How are Prompts Different in Terms of Sensitivity? [50.67313477651395]
  本稿では,関数の感度に基づく包括的即時解析を提案する。 出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。 本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
  論文  参考訳（メタデータ） (2023-11-13T10:52:01Z)
• Datasheets for Machine Learning Sensors: Towards Transparency, Auditability, and Responsibility for Intelligent Sensing [9.686781507805113]
  機械学習(ML)センサーは、エンドユーザにデータをより多くコントロールすることで、エッジでのインテリジェンスを可能にしている。 本稿では,これらのMLセンサの標準テンプレートを導入し,各セクションの設計とモチベーションについて検討・評価する。 テンプレートの応用事例として,コンピュータビジョンによる人物検出を行うMLセンサの2つの例を設計・開発した。
  論文  参考訳（メタデータ） (2023-06-15T04:24:13Z)
• A Neural Topical Expansion Framework for Unstructured Persona-oriented Dialogue Generation [52.743311026230714]
  Persona Exploration and Exploitation (PEE)は、事前に定義されたユーザペルソナ記述を意味論的に相関したコンテンツで拡張することができる。 PEEはペルソナ探索とペルソナ搾取という2つの主要なモジュールで構成されている。 提案手法は, 自動評価と人的評価の両面で, 最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2020-02-06T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。