論文の概要: Test-Time Personalization with Meta Prompt for Gaze Estimation

• arxiv url: http://arxiv.org/abs/2401.01577v1
• Date: Wed, 3 Jan 2024 07:02:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 14:59:39.076332
• Title: Test-Time Personalization with Meta Prompt for Gaze Estimation
• Title（参考訳）: 視線推定のためのメタプロンプトによるテスト時間パーソナライズ
• Authors: Huan Liu, Julia Qi, Zhenhao Li, Mohammad Hassanpour, Yang Wang, Konstantinos Plataniotis, Yuanhao Yu
• Abstract要約: 自然言語処理(NLP)の最近の進歩からインスピレーションを得て、テスト時間に無数のパラメータ"prompts"を更新する。 我々は、その更新が目標に合致することを確実にするために、プロンプトをメタ学習することを提案する。 実験の結果,メタ学習プロンプトは単純な対称性の損失でも効果的に適応できることがわかった。
• 参考スコア（独自算出の注目度）: 23.01057994927244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent remarkable achievement in gaze estimation, efficient and accurate personalization of gaze estimation without labels is a practical problem but rarely touched on in the literature. To achieve efficient personalization, we take inspiration from the recent advances in Natural Language Processing (NLP) by updating a negligible number of parameters, "prompts", at the test time. Specifically, the prompt is additionally attached without perturbing original network and can contain less than 1% of a ResNet-18's parameters. Our experiments show high efficiency of the prompt tuning approach. The proposed one can be 10 times faster in terms of adaptation speed than the methods compared. However, it is non-trivial to update the prompt for personalized gaze estimation without labels. At the test time, it is essential to ensure that the minimizing of particular unsupervised loss leads to the goals of minimizing gaze estimation error. To address this difficulty, we propose to meta-learn the prompt to ensure that its updates align with the goal. Our experiments show that the meta-learned prompt can be effectively adapted even with a simple symmetry loss. In addition, we experiment on four cross-dataset validations to show the remarkable advantages of the proposed method.
• Abstract（参考訳）: 近年の視線推定における顕著な成果にもかかわらず、ラベルのない視線推定の効率的かつ正確な個人化は現実的な問題であるが、文献にはほとんど触れられていない。 効率のよいパーソナライズを実現するために,テスト時間に"prompts"という無視可能なパラメータを更新することで,自然言語処理(NLP)の最近の進歩から着想を得た。 具体的には、プロンプトは元のネットワークを乱すことなく付加され、ResNet-18のパラメータの1%未満を含むことができる。 我々の実験は、高速チューニング手法の高効率を示す。 提案手法は,提案手法に比べて適応速度の10倍の速度で適用可能である。 しかし、ラベルなしでパーソナライズされた視線推定のプロンプトを更新するのは簡単ではない。 テスト時には、特定の教師なし損失の最小化が、視線推定誤差の最小化に繋がることを保証することが不可欠である。 この課題に対処するため、我々は、その更新が目標と一致していることを保証するプロンプトをメタ学習することを提案する。 実験の結果,メタ学習プロンプトは単純な対称性の損失でも効果的に適応できることがわかった。 さらに,提案手法の優れた利点を示すために,4つのクロスデータセット検証を実験した。

関連論文リスト

• ELF-UA: Efficient Label-Free User Adaptation in Gaze Estimation [14.265464822002924]
  我々のゴールは、ターゲットユーザーに特異的に適応したパーソナライズされた視線推定モデルを提供することです。 以前の作業では、テスト時にモデルを微調整するために、対象人物データのラベル付きイメージが必要になる。 提案手法はメタラーニング手法を用いて,少数の未ラベル画像で新しいユーザへの適応方法を学習する。
  論文  参考訳（メタデータ） (2024-06-13T13:00:33Z)
• GLaPE: Gold Label-agnostic Prompt Evaluation and Optimization for Large Language Model [66.86722460851968]
  我々は,ゴールドラベルへの依存を軽減するため,ゴールドラベルに依存しないプロンプト評価(GLaPE)を提案する。 GLaPEは,ゴールドラベルが存在しない場合でも,精度よく信頼性の高い評価を行う。 一般的な6つの推論タスクにおいて、GLaPEベースのプロンプト最適化により、精度ベースのプロンプトに匹敵する効果的なプロンプトが得られる。
  論文  参考訳（メタデータ） (2024-02-04T08:57:54Z)
• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• SLPT: Selective Labeling Meets Prompt Tuning on Label-Limited Lesion Segmentation [57.37875162629063]
  本稿では,限定ラベルの性能向上のために,選択的ラベリングと即時チューニングを組み合わせたフレームワークを提案する。 肝腫瘍の分節化について検討し, 従来の微調整を6%程度で達成した。
  論文  参考訳（メタデータ） (2023-08-09T12:22:49Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Overfitting in Bayesian Optimization: an empirical study and early-stopping solution [41.782410830989136]
  早期停止BOへの最初の問題適応性と解釈可能な基準を提案する。 提案手法は, テスト精度をほとんど損なうことなく, 計算時間を実質的に削減できることを示す。
  論文  参考訳（メタデータ） (2021-04-16T15:26:23Z)
• How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
  本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。 評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。 次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
  論文  参考訳（メタデータ） (2020-10-19T21:46:39Z)
• Information-Theoretic Probing with Minimum Description Length [74.29846942213445]
  我々は,最小記述長 (MDL) を持つ情報理論探索法である標準プローブの代替案を提案する。 MDL Probingでは、ラベルを予測するためのプローブのトレーニングが、データを効果的に送信するための教えとして再キャストされる。 これらの手法は結果に一致し、標準プローブよりも情報的かつ安定であることを示す。
  論文  参考訳（メタデータ） (2020-03-27T09:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。