論文の概要: Creating General User Models from Computer Use

• arxiv url: http://arxiv.org/abs/2505.10831v2
• Date: Mon, 19 May 2025 05:49:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 12:45:56.182012
• Title: Creating General User Models from Computer Use
• Title（参考訳）: コンピュータ利用による一般ユーザモデルの作成
• Authors: Omar Shaikh, Shardul Sapkota, Shan Rizvi, Eric Horvitz, Joon Sung Park, Diyi Yang, Michael S. Bernstein,
• Abstract要約: 本稿では,コンピュータとのインタラクションを観察することでユーザについて学習する汎用ユーザモデル(GUM)のアーキテクチャを提案する。 GUMは、ユーザ(例えばデバイスのスクリーンショット)の非構造化観察を入力として受け取り、ユーザの知識と好みをキャプチャする信頼度重み付け命題を構築する。
• 参考スコア（独自算出の注目度）: 62.91116265732001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-computer interaction has long imagined technology that understands us-from our preferences and habits, to the timing and purpose of our everyday actions. Yet current user models remain fragmented, narrowly tailored to specific apps, and incapable of the flexible reasoning required to fulfill these visions. This paper presents an architecture for a general user model (GUM) that learns about you by observing any interaction you have with your computer. The GUM takes as input any unstructured observation of a user (e.g., device screenshots) and constructs confidence-weighted propositions that capture user knowledge and preferences. GUMs can infer that a user is preparing for a wedding they're attending from messages with a friend. Or recognize that a user is struggling with a collaborator's feedback on a draft by observing multiple stalled edits and a switch to reading related work. GUMs introduce an architecture that infers new propositions about a user from multimodal observations, retrieves related propositions for context, and continuously revises existing propositions. To illustrate the breadth of applications that GUMs enable, we demonstrate how they augment chat-based assistants with context, manage OS notifications to selectively surface important information, and enable interactive agents that adapt to preferences across apps. We also instantiate proactive assistants (GUMBOs) that discover and execute useful suggestions on a user's behalf using their GUM. In our evaluations, we find that GUMs make calibrated and accurate inferences about users, and that assistants built on GUMs proactively identify and perform actions that users wouldn't think to request explicitly. Altogether, GUMs introduce methods that leverage multimodal models to understand unstructured context, enabling long-standing visions of HCI and entirely new interactive systems that anticipate user needs.
• Abstract（参考訳）: 人間とコンピュータの相互作用は、私たちの好みや習慣から日々の行動のタイミングや目的まで、私たちを理解するテクノロジーを長い間想像してきた。 しかし、現在のユーザーモデルは断片化され続けており、特定のアプリに合わせて狭く調整されており、これらのビジョンを達成するために必要な柔軟な推論ができない。 本稿では,コンピュータとのインタラクションを観察することでユーザについて学習する汎用ユーザモデル(GUM)のアーキテクチャを提案する。 GUMは、ユーザ(例えばデバイスのスクリーンショット)の非構造的な観察を入力として受け取り、ユーザの知識と好みをキャプチャする信頼性に富んだ提案を構築します。 GUMは、友人とのメッセージから、ユーザーが結婚式の準備をしていると推測することができる。 あるいは、複数の停滞した編集を観察し、関連する作業の読解に切り替えることで、共同作業者のドラフトに対するフィードバックに苦労していることを認識する。 GUMは、マルチモーダルな観察からユーザに関する新しい提案を推論し、コンテキストに関連する提案を検索し、既存の提案を継続的に修正するアーキテクチャを導入する。 GUMが実現しているアプリケーションの広さを説明するために、チャットベースのアシスタントをコンテキストで拡張し、OS通知を管理して重要な情報を選択的にサーフェスし、アプリ間での好みに適応する対話型エージェントを実現する方法を紹介した。 また,GUMを用いてユーザに代わって有用な提案を検索し,実行するプロアクティブアシスタント(GUMBO)をインスタンス化する。 我々の評価では、GUMがユーザに対して校正的かつ正確な推論を行い、GUM上に構築されたアシスタントが、ユーザが明示的に要求しないと思われるアクションを積極的に識別し、実行していることがわかった。 さらに、GUMは、非構造化コンテキストを理解するためにマルチモーダルモデルを活用する手法を導入し、HCIの長年のビジョンと、ユーザニーズを期待する全く新しいインタラクティブシステムを実現する。

関連論文リスト

• Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and Personalized Responses at Scale [51.9706400130481]
  大規模言語モデル(LLM)は、幅広いタスクでユーザのためのパーソナライズされたアシスタントとして登場した。 PERSONAMEMは180以上のユーザ-LLMインタラクション履歴を持つキュレートされたユーザプロファイルを備えている。 LLMチャットボットのユーザプロファイルの現在状況に応じて,最も適切な応答を識別する能力を評価する。
  論文  参考訳（メタデータ） (2025-04-19T08:16:10Z)
• Collaborative Instance Object Navigation: Leveraging Uncertainty-Awareness to Minimize Human-Agent Dialogues [54.81155589931697]
  協調インスタンスオブジェクトナビゲーション(CoIN)は、エージェントがターゲットインスタンスに関する不確実性を積極的に解決する新しいタスク設定である。 未認識者に対するエージェント・ユーザインタラクション(AIUTA)の新たな学習自由化手法を提案する。 まず、オブジェクト検出時に、セルフクエチオナーモデルがエージェント内で自己対話を開始し、完全かつ正確な観察記述を得る。 インタラクショントリガーモジュールは、人間に質問するか、継続するか、ナビゲーションを停止するかを決定する。
  論文  参考訳（メタデータ） (2024-12-02T08:16:38Z)
• Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents [110.25679611755962]
  現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。 Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。 私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
  論文  参考訳（メタデータ） (2024-02-14T14:36:30Z)
• Beyond ChatBots: ExploreLLM for Structured Thoughts and Personalized Model Responses [35.74453152447319]
  ExploreLLMは、ユーザが思考を構造化し、さまざまな選択肢を探索し、選択とレコメンデーションをナビゲートし、よりパーソナライズされたレスポンスを生成するために、より簡単にモデルをステアリングすることを可能にする。 本研究では,探索的・計画的なタスクにExploreLLMを使うことが有用であることを示す。 この研究は、ExploreLLMで高レベルな好みで応答をより簡単にパーソナライズできることを示唆している。
  論文  参考訳（メタデータ） (2023-12-01T18:31:28Z)
• GAM Coach: Towards Interactive and User-centered Algorithmic Recourse [28.137254018280576]
  我々はGAM(Generalized Additive Models)のカスタマイズ可能な対実的説明を生成するために整数線形プログラミングを適用する新しいオープンソースシステムであるGAM Coachを提案する。 41名の参加者による定量的ユーザスタディでは,ツールが有用で有用であり,ユーザは汎用的な計画よりもパーソナライズされたリコースプランを好んでいる。
  論文  参考訳（メタデータ） (2023-02-27T21:57:42Z)
• COLA: Improving Conversational Recommender Systems by Collaborative Augmentation [9.99763097964222]
  アイテム表現学習とユーザ嗜好モデリングの両方を改善するために,協調的拡張(COLA)手法を提案する。 すべての会話から対話型ユーザテムグラフを構築し,ユーザ認識情報によってアイテム表現を拡大する。 ユーザの嗜好モデルを改善するため,学習コーパスから類似した会話を検索し,ユーザの興味を反映した関連項目や属性を用いてユーザ表現を増強する。
  論文  参考訳（メタデータ） (2022-12-15T12:37:28Z)
• Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
  最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2022-08-16T17:17:53Z)
• Reinforced Imitative Graph Learning for Mobile User Profiling [34.62314685532468]
  模倣に基づくモバイルユーザプロファイリングフレームワークを提案する。 ユーザのプロファイルに基づいてユーザのモビリティを模倣するように自律エージェントに教える目的を考えると,ユーザプロファイルが最も正確である。 ユーザがPOIを訪問するイベントは、エージェントがユーザのモビリティをより正確に予測するのに役立つ新しい状態を構築する。
  論文  参考訳（メタデータ） (2022-03-13T02:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。