論文の概要: Learning Next Action Predictors from Human-Computer Interaction

• arxiv url: http://arxiv.org/abs/2603.05923v1
• Date: Fri, 06 Mar 2026 05:31:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.106856
• Title: Learning Next Action Predictors from Human-Computer Interaction
• Title（参考訳）: 人間-コンピュータインタラクションによる次の行動予測器の学習
• Authors: Omar Shaikh, Valentin Teutschbein, Kanishk Gandhi, Yikun Chi, Nick Haber, Thomas Robinson, Nilam Ram, Byron Reeves, Sherry Yang, Michael S. Bernstein, Diyi Yang,
• Abstract要約: LongNAPは、パラメトリックとコンテキスト内学習を組み合わせて、長時間のインタラクション履歴を推論するユーザモデルである。 当社は、20ユーザーから1ヶ月の連続電話使用で360K以上のアクションをラベル付けし、1,800時間のスクリーンタイムを提供しています。 LongNAPは教師付き微調整を著しく上回り、ホールドアウトデータにベースラインを誘導する。
• 参考スコア（独自算出の注目度）: 53.41504288073184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Truly proactive AI systems must anticipate what we will do next. This foresight demands far richer information than the sparse signals we type into our prompts -- it demands reasoning over the entire context of what we see and do. We formalize this as next action prediction (NAP): given a sequence of a user's multimodal interactions with a computer (screenshots, clicks, sensor data), predict that user's next action. Progress on this task requires both new data and modeling approaches. To scale data, we annotate longitudinal, naturalistic computer use with vision-language models. We release an open-source pipeline for performing this labeling on private infrastructure, and label over 360K actions across one month of continuous phone usage from 20 users, amounting to 1,800 hours of screen time. We then introduce LongNAP, a user model that combines parametric and in-context learning to reason over long interaction histories. LongNAP is trained via policy gradient methods to generate user-specific reasoning traces given some context; retrieve relevant traces from a library of past traces; and then apply retrieved traces in-context to predict future actions. Using an LLM-as-judge evaluation metric (0-1 similarity to ground truth), LongNAP significantly outperforms supervised finetuning and prompted baselines on held-out data (by 79% and 39% respectively). Additionally, LongNAP generalizes to held out users when trained across individuals. The space of next actions a user might take at any moment is unbounded, spanning thousands of possible outcomes. Despite this, 17.1% of LongNAP's predicted trajectories are well-aligned with what a user does next (LLM-judge score $\geq$ 0.5). This rises to 26% when we filter to highly confident predictions. In sum, we argue that learning from the full context of user behavior to anticipate user needs is now a viable task with substantial opportunity.
• Abstract（参考訳）: 真に積極的なAIシステムは、次に何をするかを予想しなければならない。 この監視は、我々がプロンプトに入力するスパース信号よりもはるかに豊富な情報を要求する。 ユーザのマルチモーダルなインタラクションのシーケンス(スクリーンショット,クリック,センサデータ)が,ユーザの次のアクションを予測する。 このタスクの進捗には、新しいデータとモデリングアプローチの両方が必要です。 データを拡張するためには、縦長で自然主義的なコンピュータ使用を視覚言語モデルで注釈付けする。 このラベル付けをプライベートインフラストラクチャ上で実行するためのオープンソースのパイプラインをリリースし、20ユーザから1ヶ月の連続電話使用で360K以上のアクションをラベル付けし、1,800時間のスクリーンタイムを提供します。 次に、パラメトリックとコンテキスト内学習を組み合わせたユーザモデルであるLongNAPを紹介し、長いインタラクション履歴を推論する。 LongNAPはポリシー勾配法を用いてトレーニングされ、あるコンテキストに与えられたユーザ固有の推論トレースを生成し、過去のトレースのライブラリから関連するトレースを取得し、検索したトレースをコンテキスト内で適用して、将来のアクションを予測する。 LLM-as-judge評価基準(0-1類似性)を用いて、LongNAPは教師付き微調整と保持データ(それぞれ79%と39%)のベースラインを著しく上回った。 さらに、LongNAPは個人間でトレーニングされた時にユーザを解放するように一般化する。 ユーザが任意の瞬間に取るべき次のアクションの空間は無制限であり、数千の可能な結果にまたがる。 しかし、LongNAPの予測軌道の17.1%は、ユーザが次に何をするかとよく一致している(LLM-judge score $\geq$ 0.5)。 これは、非常に自信のある予測にフィルタすると26%に上昇します。 総じて、ユーザニーズを予想するユーザ行動の全コンテキストから学ぶことは、現在、かなりの機会を持つ実行可能なタスクである、と我々は主張する。

関連論文リスト

• Towards Realistic Personalization: Evaluating Long-Horizon Preference Following in Personalized User-LLM Interactions [50.70965714314064]
  大規模言語モデル(LLM)は、ユーザが拡張されたインタラクションよりも複雑で多様な好みを共有するパーソナルアシスタントとして、ますます機能している。 この研究は、パーソナライズされたユーザ-LLMインタラクションにおいて、リアルな嗜好フォローを評価するためのベンチマークであるRealPrefを提案する。
  論文  参考訳（メタデータ） (2026-03-04T15:42:43Z)
• Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
  大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。 本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-21T20:29:02Z)
• New User Event Prediction Through the Lens of Causal Inference [20.676353189313737]
  限られた履歴を持つ新規ユーザを対象とした新しい離散イベント予測フレームワークを提案する。 我々は、ユーザイベント履歴を、将来のイベントに対する"処理"として扱い、ユーザカテゴリを、重要な共同創設者として扱います。 本稿では,数値シミュレーションと実世界の2つの応用を用いて,提案フレームワークの性能向上を実証する。
  論文  参考訳（メタデータ） (2024-07-08T05:35:54Z)
• Look into the Future: Deep Contextualized Sequential Recommendation [28.726897673576865]
  我々は、Look into the Future(LIFT)と呼ばれる、シーケンシャルなレコメンデーションの新しいフレームワークを提案する。 LIFTはシーケンシャルなレコメンデーションのコンテキストを構築し、活用する。 本実験では,クリックスルー率予測および評価予測タスクにおいて,LIFTは大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-05-23T09:34:28Z)
• USE: Dynamic User Modeling with Stateful Sequence Models [26.74966828348815]
  User Stateful Embedding (USE)は、徹底的な再処理を必要とせずに、ユーザ埋め込みを生成する。 我々は,次世代の予測の限界を超越するために,将来のW行動予測という新たな訓練目標を導入する。 静的(固定されたユーザ行動シーケンス)および動的(定期的に更新されたユーザ行動シーケンス)設定の両方で、Snapchatユーザーの行動ログを使用して、8つの下流タスクで実験を行う。
  論文  参考訳（メタデータ） (2024-03-20T07:05:19Z)
• A Nonparametric Bayes Approach to Online Activity Prediction [11.934335703226404]
  特定の期間にアクティブになるユーザ数を予測するための新しい手法を提案する。 所定の期間に期待される新規ユーザ数に対するクローズドフォーム表現と,所望のユーザ数を達成するために必要な日数の後部分布を目標としたモンテカルロアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-01-26T09:11:42Z)
• Latent User Intent Modeling for Sequential Recommenders [92.66888409973495]
  逐次リコメンデータモデルは、プラットフォーム上での氏のインタラクション履歴に基づいて、ユーザが次に対話する可能性のあるアイテムを予測することを学習する。 しかし、ほとんどのシーケンシャルなレコメンデータは、ユーザの意図に対する高いレベルの理解を欠いている。 したがって、インテントモデリングはユーザー理解と長期ユーザーエクスペリエンスの最適化に不可欠である。
  論文  参考訳（メタデータ） (2022-11-17T19:00:24Z)
• PinnerFormer: Sequence Modeling for User Representation at Pinterest [60.335384724891746]
  我々は、ユーザの将来的なエンゲージメントを予測するためにトレーニングされたユーザ表現であるPinnerFormerを紹介する。 従来のアプローチとは異なり、新しい密集した全アクション損失を通じて、モデリングをバッチインフラストラクチャに適応させます。 その結果,1日に1回発生するバッチユーザ埋め込みと,ユーザがアクションを行うたびに発生するリアルタイムユーザ埋め込みとの間には,大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2022-05-09T18:26:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。