論文の概要: EgoAdapt: A multi-stream evaluation study of adaptation to real-world
egocentric user video
- arxiv url: http://arxiv.org/abs/2307.05784v1
- Date: Tue, 11 Jul 2023 20:23:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 14:56:07.404608
- Title: EgoAdapt: A multi-stream evaluation study of adaptation to real-world
egocentric user video
- Title（参考訳）: EgoAdapt: 現実の自己中心型ユーザビデオへの適応に関するマルチストリーム評価研究
- Authors: Matthias De Lange, Hamid Eghbalzadeh, Reuben Tan, Michael Iuzzolino,
Franziska Meier, Karl Ridgeway
- Abstract要約: エゴセントリックな行動認識では、単一の集団モデルは通常訓練され、拡張現実ヘッドセットのようなヘッドマウントデバイスに具体化される。
本稿では,2段階の適応的パラダイムを導入し,集団モデルを事前訓練した後,デバイス上で適応し,ユーザエクスペリエンスにオンライン化する。
EgoAdaptは、現実世界のエゴセントリックなアクション認識のためのベンチマークである。
- 参考スコア（独自算出の注目度）: 9.205113493641546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In egocentric action recognition a single population model is typically
trained and subsequently embodied on a head-mounted device, such as an
augmented reality headset. While this model remains static for new users and
environments, we introduce an adaptive paradigm of two phases, where after
pretraining a population model, the model adapts on-device and online to the
user's experience. This setting is highly challenging due to the change from
population to user domain and the distribution shifts in the user's data
stream. Coping with the latter in-stream distribution shifts is the focus of
continual learning, where progress has been rooted in controlled benchmarks but
challenges faced in real-world applications often remain unaddressed. We
introduce EgoAdapt, a benchmark for real-world egocentric action recognition
that facilitates our two-phased adaptive paradigm, and real-world challenges
naturally occur in the egocentric video streams from Ego4d, such as long-tailed
action distributions and large-scale classification over 2740 actions. We
introduce an evaluation framework that directly exploits the user's data stream
with new metrics to measure the adaptation gain over the population model,
online generalization, and hindsight performance. In contrast to single-stream
evaluation in existing works, our framework proposes a meta-evaluation that
aggregates the results from 50 independent user streams. We provide an
extensive empirical study for finetuning and experience replay.
- Abstract（参考訳）: エゴセントリックな行動認識では、単一の集団モデルは通常訓練され、拡張現実ヘッドセットのようなヘッドマウントデバイスに具体化される。
このモデルは、新しいユーザや環境にはまだ静的だが、2段階の適応パラダイムを導入し、人口モデルを事前訓練した後、デバイス上で適応し、ユーザエクスペリエンスにオンライン化する。
この設定は、人口からユーザドメインへの変化と、ユーザのデータストリームにおける分散シフトのため、非常に難しい。
ストリーム内分散シフトの後者とのコピングは、継続的な学習の焦点であり、制御されたベンチマークに進歩が根ざしているが、現実世界のアプリケーションで直面する課題は、しばしば未適応のままである。
EgoAdaptは実世界のエゴセントリックな行動認識のベンチマークであり、我々の二相適応パラダイムを促進し、Ego4dのエゴセントリックな行動分布や2740以上のアクションの大規模分類など、実世界の課題が自然に発生する。
本稿では,ユーザのデータストリームを直接活用して,人口モデル,オンライン一般化,後見的パフォーマンスの順応性を評価するための評価フレームワークを提案する。
既存の作業におけるシングルストリーム評価とは対照的に,50個の独立したユーザストリームから結果を集約するメタ評価を提案する。
ファインタニングと経験リプレイのための広範な実証的研究を行った。
関連論文リスト
- Preserving Individuality while Following the Crowd: Understanding the Role of User Taste and Crowd Wisdom in Online Product Rating Prediction [31.42047941275096]
ユーザレベルでも製品レベルでも,歴史的評価を重視したユニークな,実践的なアプローチを提案する。
このアプローチを高度にスケーラブルで容易にデプロイ可能な,効率的なデータ処理戦略を開発しました。
論文 参考訳（メタデータ） (2024-09-06T23:16:06Z) - A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。
モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。
本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
論文 参考訳（メタデータ） (2024-08-26T17:59:01Z) - Generalization of Fitness Exercise Recognition from Doppler Measurements
by Domain-adaption and Few-Shot Learning [12.238586191793997]
以前の研究では、未修正の市販オフザシェルフスマートフォンを使用して、全身運動を認識するモバイルアプリケーションを開発した。
このような実験室環境のトレーニングされたモデルを現実的なアプリケーションのバリエーションに適用することは、パフォーマンスを著しく低下させます。
本稿では、フィットネスエクササイズの制御および制御されていないサブセットを持つデータベースを提案する。
論文 参考訳（メタデータ） (2023-11-20T16:40:48Z) - Asymptotically Fair Participation in Machine Learning Models: an Optimal
Control Perspective [21.962258178900065]
最先端の機械学習モデルのパフォーマンスは、トレーニングデータセットで表現されていない人口層をテストすると、しばしば低下する。
我々は,最適制御の定式化を通じて,巧妙に公正な参加を実現することの課題に対処することを目的とする。
最適制御解を推定するために、ポントリャーギンの最大原理の効率的な実装を適用する。
論文 参考訳（メタデータ） (2023-11-16T22:28:38Z) - Improved Bayes Risk Can Yield Reduced Social Welfare Under Competition [99.7047087527422]
本研究は,機械学習のスケーリングトレンドの振る舞いを根本的に変化させることを実証する。
データ表現品質の改善により、ユーザ間での全体的な予測精度が低下する、多くの設定が見つかる。
概念レベルでは,各モデルプロジェクタのスケーリング傾向が,社会福祉の下流改善に寄与する必要はないことが示唆された。
論文 参考訳（メタデータ） (2023-06-26T13:06:34Z) - ViDA: Homeostatic Visual Domain Adapter for Continual Test Time Adaptation [48.039156140237615]
目標ドメインの継続的な変更に事前訓練されたモデルを適用するために、連続的なテスト時間適応タスクを提案する。
我々はCTTA用のVisual Domain Adapter (ViDA) を設計し、ドメイン固有知識とドメイン共有知識の両方を明示的に扱う。
提案手法は,CTTAタスクの分類とセグメント化の両方において,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-06-07T11:18:53Z) - Federated Privacy-preserving Collaborative Filtering for On-Device Next
App Prediction [52.16923290335873]
本稿では,モバイルデバイス使用時の次のアプリの起動を予測するための新しいSeqMFモデルを提案する。
古典行列分解モデルの構造を修正し、学習手順を逐次学習に更新する。
提案手法のもうひとつの要素は,ユーザからリモートサーバへの送信データの保護を保証する,新たなプライバシメカニズムである。
論文 参考訳（メタデータ） (2023-02-05T10:29:57Z) - Time Will Change Things: An Empirical Study on Dynamic Language
Understanding in Social Media Classification [5.075802830306718]
我々は、実験的にソーシャルメディアのNLUを動的に研究し、モデルが過去のデータに基づいてトレーニングされ、将来のテストが行われる。
自動エンコーディングと擬似ラベルが協調して、動的性の最良の堅牢性を示すことを示す。
論文 参考訳（メタデータ） (2022-10-06T12:18:28Z) - Lifelong Unsupervised Domain Adaptive Person Re-identification with
Coordinated Anti-forgetting and Adaptation [127.6168183074427]
本稿では,LUDA (Lifelong Unsupervised Domain Adaptive) という新たなタスクを提案する。
これは、モデルがターゲット環境のラベル付けされていないデータに継続的に適応する必要があるため、難しい。
我々は、CLUDA-ReIDと呼ばれるこのタスクのための効果的なスキームを設計し、そこでは、アンチフォージェッティングが適応と調和して調整される。
論文 参考訳（メタデータ） (2021-12-13T13:19:45Z) - Assisted Perception: Optimizing Observations to Communicate State [112.40598205054994]
我々は、ロボット遠隔操作や視覚障害のあるナビゲーションといったタスクにおいて、ユーザが世界の状態を見積もるのを支援することを目的としている。
ユーザによって処理された場合、より正確な内部状態推定につながる新しい観測結果を合成する。
論文 参考訳（メタデータ） (2020-08-06T19:08:05Z) - Unsupervised Domain Adaptation in Person re-ID via k-Reciprocal
Clustering and Large-Scale Heterogeneous Environment Synthesis [76.46004354572956]
個人再識別のための教師なし領域適応手法を提案する。
実験結果から,ktCUDA法とSHRED法は,再同定性能において,+5.7 mAPの平均的改善を実現することがわかった。
論文 参考訳（メタデータ） (2020-01-14T17:43:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。