論文の概要: TechCoach: Towards Technical Keypoint-Aware Descriptive Action Coaching
- arxiv url: http://arxiv.org/abs/2411.17130v1
- Date: Tue, 26 Nov 2024 05:49:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-27 13:35:13.647975
- Title: TechCoach: Towards Technical Keypoint-Aware Descriptive Action Coaching
- Title（参考訳）: TechCoach: 技術的なキーポイントを意識した説明的行動コーチングを目指して
- Authors: Yuan-Ming Li, An-Lan Wang, Kun-Yu Lin, Yu-Ming Tang, Ling-An Zeng, Jian-Fang Hu, Wei-Shi Zheng,
- Abstract要約: 説明的行動コーチング(DAC)は、何がうまくいって何が改善できるかを詳細に解説するモデルを必要とする。
キーポイントレベルの推論をDACプロセスに明示的に組み込む新しいフレームワークであるTechCoachを提案する。
- 参考スコア（独自算出の注目度）: 32.86913329258327
- License:
- Abstract: To guide a learner to master the action skills, it is crucial for a coach to 1) reason through the learner's action execution and technical keypoints, and 2) provide detailed, understandable feedback on what is done well and what can be improved. However, existing score-based action assessment methods are still far from this practical scenario. To bridge this gap, we investigate a new task termed Descriptive Action Coaching (DAC) which requires a model to provide detailed commentary on what is done well and what can be improved beyond a quality score from an action execution. To this end, we construct a new dataset named EE4D-DAC. With an LLM-based annotation pipeline, our dataset goes beyond the existing action assessment datasets by providing the hierarchical coaching commentary at both keypoint and instance levels. Furthermore, we propose TechCoach, a new framework that explicitly incorporates keypoint-level reasoning into the DAC process. The central to our method lies in the Context-aware Keypoint Reasoner, which enables TechCoach to learn keypoint-related quality representations by querying visual context under the supervision of keypoint-level coaching commentary. Prompted by the visual context and the keypoint-related quality representations, a unified Keypoint-aware Action Assessor is then employed to provide the overall coaching commentary together with the quality score. Combining all of these, we build a new benchmark for DAC and evaluate the effectiveness of our method through extensive experiments. Data and code will be publicly available.
- Abstract（参考訳）: 学習者にアクションスキルを習得させるには、コーチが不可欠です。
1)学習者の行動実行と技術キーポイントによる理性
2)何がうまく行われ、何が改善されるかについて、詳細な、理解可能なフィードバックを提供する。
しかし、既存のスコアに基づくアクションアセスメント手法はこの現実的なシナリオには程遠い。
このギャップを埋めるために、我々はDAC(Descriptive Action Coaching, Descriptive Action Coaching)と呼ばれる新しいタスクについて調査する。
そこで我々はEE4D-DACという新しいデータセットを構築した。
LLMベースのアノテーションパイプラインでは、私たちのデータセットは、キーポイントとインスタンスレベルの両方で階層的なコーチング注釈を提供することで、既存のアクションアセスメントデータセットを越えています。
さらに,DACプロセスにキーポイントレベルの推論を明示的に組み込んだ新しいフレームワークであるTechCoachを提案する。
これにより、キーポイントレベルのコーチングコメンタの監督の下で視覚的コンテキストを問合せすることで、キーポイントに関連する品質表現を学べる。
視覚的コンテキストとキーポイント関連品質表現によって、統合されたキーポイント対応アクションアセスメントが採用され、品質スコアとともに、全体のコーチングコメンタリーが提供される。
これらをすべて組み合わせて,DACの新しいベンチマークを構築し,広範囲な実験を通じて本手法の有効性を評価する。
データとコードは公開されます。
関連論文リスト
- Instruction Embedding: Latent Representations of Instructions Towards Task Identification [20.327984896070053]
教育データにとって最も重要な側面は、特定の意味論や知識情報ではなく、それが表すタスクである。
本研究では,そのトレーニングと評価のための新しい概念,命令埋め込み,命令埋め込みベンチマーク(IEB)の構築について紹介する。
論文 参考訳（メタデータ） (2024-09-29T12:12:24Z) - IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。
IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
論文 参考訳（メタデータ） (2024-06-19T16:37:31Z) - Improving the Learning of Code Review Successive Tasks with Cross-Task
Knowledge Distillation [1.0878040851638]
本研究では,これらのタスクを同時に処理するために,クロスタスク知識蒸留を利用した新しいディープラーニングアーキテクチャdisCOREVを紹介する。
提案手法は, BLEUスコアによる評価値と, CodeBLEUスコアによるより正確なコード修正値から, より良いレビューコメントを生成する。
論文 参考訳（メタデータ） (2024-02-03T07:02:22Z) - Unity is Strength: Cross-Task Knowledge Distillation to Improve Code
Review Generation [0.9208007322096533]
本稿では,クロスタスク知識蒸留に基づく新しいディープラーニングアーキテクチャであるdisCOREVを提案する。
提案手法では,コメント生成モデルの微調整をコードリファインメントモデルで指導する。
以上の結果から,本手法はBLEUスコアによって評価されたより良いレビューコメントを生成することが示された。
論文 参考訳（メタデータ） (2023-09-06T21:10:33Z) - Learning Action-Effect Dynamics for Hypothetical Vision-Language
Reasoning Task [50.72283841720014]
本研究では,行動の効果に関する推論を改善する新しい学習戦略を提案する。
本稿では,提案手法の有効性を実証し,性能,データ効率,一般化能力の観点から,従来のベースラインに対する優位性を論じる。
論文 参考訳（メタデータ） (2022-12-07T05:41:58Z) - FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality
Assessment [93.09267863425492]
競争力のあるスポーツビデオにおける行動の高レベル意味論と内部時間構造の両方を理解することが、予測を正確かつ解釈可能なものにする鍵である、と我々は主張する。
本研究では,多様なダイビングイベントに対して,アクションプロシージャに関する詳細なアノテーションを付加した,ファインディビングと呼ばれる詳細なデータセットを構築した。
論文 参考訳（メタデータ） (2022-04-07T17:59:32Z) - Simple Control Baselines for Evaluating Transfer Learning [1.0499611180329802]
我々は,伝達学習のパフォーマンスを定量化し,伝達することを目的とした評価基準を共有している。
自己教師型学習に関するいくつかの基本的な質問について,実証的研究を例に紹介する。
論文 参考訳（メタデータ） (2022-02-07T17:26:26Z) - End-to-End Learning of Keypoint Representations for Continuous Control
from Images [84.8536730437934]
教師なしの事前学習、デコーダ、追加の損失を必要とせずに、エンドツーエンドで効率的なキーポイント表現を学習できることが示される。
提案アーキテクチャは,ソフトアクター・クリティカルエージェントに直接座標を供給するキーポイント抽出器で構成されている。
論文 参考訳（メタデータ） (2021-06-15T09:17:06Z) - Visual Transformer for Task-aware Active Learning [49.903358393660724]
プールベースのアクティブラーニングのための新しいパイプラインを提案する。
提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。
ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
論文 参考訳（メタデータ） (2021-06-07T17:13:59Z) - Feedback Coding for Active Learning [15.239252118069762]
アクティブなサンプル選択タスクに最適なトランスポートベースのフィードバックコーディングスキームを開発しています。
各種データセット上でAPMを評価し,既存のアクティブラーニング手法に匹敵する学習性能を示す。
論文 参考訳（メタデータ） (2021-02-28T23:00:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。