論文の概要: Parameter-Efficient Multi-View Proficiency Estimation: From Discriminative Classification to Generative Feedback
- arxiv url: http://arxiv.org/abs/2605.03848v1
- Date: Tue, 05 May 2026 15:14:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:43.995958
- Title: Parameter-Efficient Multi-View Proficiency Estimation: From Discriminative Classification to Generative Feedback
- Title(参考訳): パラメータ効率の良いマルチビュー習熟度推定:識別的分類から生成的フィードバックへ
- Authors: Edoardo Bianchi, Antonio Liotta,
- Abstract要約: Ego-Exo4Dにおける多視点精度推定への最近の貢献について論じる。
SkillFormerは、選択的なマルチビュー融合のためのパラメータ効率の良い識別アーキテクチャを導入している。
PATSは、基本運動の局所的な密集した抜粋を保存することにより、時間的サンプリングを改善する。
ProfVLMは条件言語生成としての熟練度推定を再構成する。
- 参考スコア(独自算出の注目度): 1.3893859937118993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating how well a person performs an action, rather than which action is performed, is central to coaching, rehabilitation, and talent identification. This task is challenging because proficiency is encoded in subtle differences in timing, balance, body mechanics, and execution, often distributed across multiple views and short temporal events. We discuss three recent contributions to multi-view proficiency estimation on Ego-Exo4D. SkillFormer introduces a parameter-efficient discriminative architecture for selective multi-view fusion; PATS improves temporal sampling by preserving locally dense excerpts of fundamental movements; and ProfVLM reformulates proficiency estimation as conditional language generation, producing both a proficiency label and expert-style feedback through a gated cross-view projector and a compact language backbone. Together, these methods achieve state-of-the-art accuracy on Ego-Exo4D with up to 20x fewer trainable parameters and up to 3x fewer training epochs than video-transformer baselines, while moving from closed-set classification toward interpretable feedback generation. These results highlight a shift toward efficient, multi-view systems that combine selective fusion, proficiency-aware sampling, and actionable generative feedback.
- Abstract(参考訳): どのような行動を行うかではなく、どのように行動を行うかを評価することは、コーチング、リハビリテーション、才能の識別の中心である。
この課題は、習熟度がタイミング、バランス、体力学、実行の微妙な違いに符号化され、しばしば複数のビューと短い時間的イベントに分散しているため、困難である。
Ego-Exo4Dにおける多視点精度推定への最近の貢献について論じる。
SkillFormerは、選択的な多視点融合のためのパラメータ効率の高い識別アーキテクチャを導入し、PATSは基本運動の局所的な密集した抜粋を保存することで時間的サンプリングを改善し、ProfVLMは条件言語生成として熟練度推定を再構成し、ゲート型クロスビュープロジェクタとコンパクトな言語バックボーンを通じて熟練度ラベルとエキスパートスタイルのフィードバックを生成する。
これらの手法は,Ego-Exo4Dの最先端精度を最大20倍のトレーニングパラメータと最大3倍のトレーニングエポックで達成し,クローズドセット分類から解釈可能なフィードバック生成へ移行した。
これらの結果は, 選択的融合, 熟練度を考慮したサンプリング, 動作可能な生成フィードバックを組み合わせた, 効率的な多視点システムへのシフトを浮き彫りにしている。
関連論文リスト
- Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。
提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。
我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
論文 参考訳(メタデータ) (2026-04-07T12:53:22Z) - Efficient Personalized Reranking with Semi-Autoregressive Generation and Online Knowledge Distillation [67.09494009022471]
本稿では,オンライン知識蒸留(PSAD)フレームワークを改訂するための新しいパーソナライズド・セミ・オートレグレッシブを提案する。
このフレームワークでは、教師モデルは、生成品質と効率のバランスをとるために半自己回帰ジェネレータを採用し、そのランキング知識はオンラインで軽量のスコアリングネットワークに抽出される。
3つの大規模な公開データセットで実施された実験により、PSADはランク付け性能と推論効率の両方において最先端のベースラインを大幅に上回っていることが示された。
論文 参考訳(メタデータ) (2026-03-07T08:37:13Z) - Endogenous Reprompting: Self-Evolving Cognitive Alignment for Unified Multimodal Models [23.128973540926552]
内因性再増殖は、モデルの理解を明確な生成的推論ステップに変換する。
評価精度,再現効率,生成品質において,SEERは一貫して最先端のベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2026-01-28T06:54:36Z) - ProfVLM: A Lightweight Video-Language Model for Multi-View Proficiency Estimation [3.115853870709636]
本稿では,このタスクを生成的推論として再構成する,コンパクトな視覚言語モデルProfVLMを提案する。
スキルレベルを共同で予測し、エゴセントリックなビデオやエクソセントリックなビデオから専門家のようなフィードバックを生成する。
論文 参考訳(メタデータ) (2025-09-30T14:00:41Z) - Efficient Transfer Learning for Video-language Foundation Models [13.166348605993292]
テキスト表現と視覚表現のアライメントを高めるために,パラメータ効率のよいマルチモーダルパティッシャ・テンポラル・アダプタ (MSTA) を提案する。
我々は,ゼロショット転送,少数ショット学習,ベース・ツー・ノーベル一般化,完全テンポラル学習という4つの課題にまたがるアプローチの有効性を評価する。
論文 参考訳(メタデータ) (2024-11-18T01:25:58Z) - mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal
Skip-connections [104.14624185375897]
mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。
画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
論文 参考訳(メタデータ) (2022-05-24T11:52:06Z) - A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。
視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩
我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
論文 参考訳(メタデータ) (2021-11-29T17:49:24Z) - Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。
我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。
提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
論文 参考訳(メタデータ) (2021-10-05T15:39:11Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳(メタデータ) (2021-09-24T07:20:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。