論文の概要: A Population-to-individual Tuning Framework for Adapting Pretrained LM to On-device User Intent Prediction

• arxiv url: http://arxiv.org/abs/2408.09815v1
• Date: Mon, 19 Aug 2024 09:07:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 17:04:37.412460
• Title: A Population-to-individual Tuning Framework for Adapting Pretrained LM to On-device User Intent Prediction
• Title（参考訳）: デバイス上でのユーザインテント予測に事前学習したLMを適応するための集団間個別チューニングフレームワーク
• Authors: Jiahui Gong, Jingtao Ding, Fanjin Meng, Guilong Chen, Hong Chen, Shen Zhao, Haisheng Lu, Yong Li,
• Abstract要約: PITuningはデバイス上での意図予測のための個体間チューニングフレームワークである。 PITuningは、デバイス上での予測シナリオに対して、長い尾の好みと実用性をキャプチャする。
• 参考スコア（独自算出の注目度）: 14.818168132725544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mobile devices, especially smartphones, can support rich functions and have developed into indispensable tools in daily life. With the rise of generative AI services, smartphones can potentially transform into personalized assistants, anticipating user needs and scheduling services accordingly. Predicting user intents on smartphones, and reflecting anticipated activities based on past interactions and context, remains a pivotal step towards this vision. Existing research predominantly focuses on specific domains, neglecting the challenge of modeling diverse event sequences across dynamic contexts. Leveraging pre-trained language models (PLMs) offers a promising avenue, yet adapting PLMs to on-device user intent prediction presents significant challenges. To address these challenges, we propose PITuning, a Population-to-Individual Tuning framework. PITuning enhances common pattern extraction through dynamic event-to-intent transition modeling and addresses long-tailed preferences via adaptive unlearning strategies. Experimental results on real-world datasets demonstrate PITuning's superior intent prediction performance, highlighting its ability to capture long-tailed preferences and its practicality for on-device prediction scenarios.
• Abstract（参考訳）: モバイルデバイス、特にスマートフォンは、リッチな機能をサポートし、日常生活において欠かせないツールへと発展してきた。 生成AIサービスの台頭により、スマートフォンはパーソナライズされたアシスタントに変身し、ユーザーのニーズを予測し、サービスのスケジューリングを行う可能性がある。 スマートフォン上でのユーザの意図を予測し、過去のインタラクションとコンテキストに基づいた期待されたアクティビティを反映することは、このビジョンに向けた重要なステップである。 既存の研究は主に特定のドメインに焦点を当てており、動的コンテキストにまたがる多様なイベントシーケンスをモデル化するという課題を無視している。 プレトレーニング言語モデル(PLM)の活用は、有望な道のりを提供するが、デバイス上のユーザ意図の予測にPLMを適用することは大きな課題である。 これらの課題に対処するため,我々はPITuning(Population-to-Individual Tuning)フレームワークを提案する。 PITuningは動的イベント・ツー・インテント・トランジション・モデリングを通じて共通パターン抽出を強化し、適応的アンラーニング戦略を通じて長い好みに対処する。 実世界のデータセットに対する実験結果は、PITuningの優れた意図予測性能を示し、長い尾の好みを捉える能力とデバイス上の予測シナリオの実用性を強調している。

関連論文リスト

• Multi-Transmotion: Pre-trained Model for Human Motion Prediction [68.87010221355223]
  マルチトランスモーション(Multi-Transmotion)は、モダリティ事前トレーニング用に設計された革新的なトランスフォーマーベースのモデルである。 提案手法は,下流タスクにおける各種データセット間の競合性能を示す。
  論文  参考訳（メタデータ） (2024-11-04T23:15:21Z)
• SmartPretrain: Model-Agnostic and Dataset-Agnostic Representation Learning for Motion Prediction [37.461695201579914]
  動作予測のための汎用的でスケーラブルなフレームワークであるSmartPretrainを提案する。 提案手法は対照的かつ再構成的なSSLを統合し,生成的パラダイムと識別的パラダイムの両方の長所を活用する。 SmartPretrainは、データセット、データ分割、主要なメトリクスにわたる最先端の予測モデルのパフォーマンスを一貫して改善する。
  論文  参考訳（メタデータ） (2024-10-11T09:52:26Z)
• E-Motion: Future Motion Simulation via Event Sequence Diffusion [86.80533612211502]
  イベントベースのセンサーは、これまで達成できなかった詳細と精度で将来の動きを予測するユニークな機会を提供する可能性がある。 本稿では,映像拡散モデルの強力な学習能力とイベントカメラのリッチな動作情報とを,モーションシミュレーションフレームワークとして統合することを提案する。 本研究は,コンピュータビジョンシステムの解釈能力と予測精度の向上に向けた今後の研究の方向性を示唆するものである。
  論文  参考訳（メタデータ） (2024-10-11T09:19:23Z)
• Adaptive Prediction Ensemble: Improving Out-of-Distribution Generalization of Motion Forecasting [15.916325272109454]
  本稿では,ディープラーニングとルールに基づく予測専門家を統合した新しいフレームワーク,Adaptive Prediction Ensemble (APE)を提案する。 ディープラーニングモデルと並行して訓練された学習ルーティング関数は、入力シナリオに基づいて、最も信頼性の高い予測を動的に選択する。 この研究は、自律運転における頑健で一般化可能な運動予測のためのハイブリッドアプローチの可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-12T17:57:00Z)
• Knowledge-aware Graph Transformer for Pedestrian Trajectory Prediction [15.454206825258169]
  歩行者運動軌跡の予測は、自動運転車の経路計画と移動制御に不可欠である。 近年の深層学習に基づく予測手法は、主に軌跡履歴や歩行者間の相互作用などの情報を利用する。 本稿では,予測性能を向上させるためのグラフトランス構造を提案する。
  論文  参考訳（メタデータ） (2024-01-10T01:50:29Z)
• Pixel State Value Network for Combined Prediction and Planning in Interactive Environments [9.117828575880303]
  本研究は,予測と計画を組み合わせた深層学習手法を提案する。 U-Netアーキテクチャを持つ条件付きGANは、2つの高解像度画像シーケンスを予測するために訓練される。 結果は、対立する目的の中で車線の変化のような複雑な状況において直感的な行動を示す。
  論文  参考訳（メタデータ） (2023-10-11T17:57:13Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Conditioned Human Trajectory Prediction using Iterative Attention Blocks [70.36888514074022]
  本研究では,都市環境における歩行者位置予測を目的とした,簡易かつ効果的な歩行者軌道予測モデルを提案する。 我々のモデルは、複数のアテンションブロックとトランスフォーマーを反復的に実行できるニューラルネットワークアーキテクチャである。 ソーシャルマスク, 動的モデル, ソーシャルプーリング層, 複雑なグラフのような構造を明示的に導入することなく, SoTAモデルと同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T07:49:48Z)
• Instance-Aware Predictive Navigation in Multi-Agent Environments [93.15055834395304]
  エージェント間の相互作用と将来のシーン構造を予測するIPC(Instance-Aware Predictive Control)アプローチを提案する。 我々は,ego中心の視点でエージェント間のインタラクションを推定するために,新しいマルチインスタンスイベント予測モジュールを採用する。 シーンレベルとインスタンスレベルの両方の予測状態をより有効活用するために、一連のアクションサンプリング戦略を設計します。
  論文  参考訳（メタデータ） (2021-01-14T22:21:25Z)
• Model-based Reinforcement Learning for Decentralized Multiagent Rendezvous [66.6895109554163]
  目標を他のエージェントと整合させる人間の能力の下にあるのは、他人の意図を予測し、自分たちの計画を積極的に更新する能力である。 分散型マルチエージェントレンデブーのためのモデルに基づく強化学習手法である階層型予測計画(HPP)を提案する。
  論文  参考訳（メタデータ） (2020-03-15T19:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。