論文の概要: TechCoach: Towards Technical-Point-Aware Descriptive Action Coaching
- arxiv url: http://arxiv.org/abs/2411.17130v2
- Date: Wed, 26 Mar 2025 13:09:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-27 16:24:36.015570
- Title: TechCoach: Towards Technical-Point-Aware Descriptive Action Coaching
- Title（参考訳）: TechCoach: 技術的ポイントを意識した説明的行動コーチングを目指して
- Authors: Yuan-Ming Li, An-Lan Wang, Kun-Yu Lin, Yu-Ming Tang, Ling-An Zeng, Jian-Fang Hu, Wei-Shi Zheng,
- Abstract要約: 記述的行動コーチング(DescCoach)と呼ばれる新しいタスクの検討
モデルには、何がうまくいっているか、そして、アクション実行のための単純な品質スコアを超えて何が改善できるかについて、詳細なコメントを提供する必要があります。
DescCoachプロセスにTechPointレベルの推論を明示的に組み込む新しいフレームワークであるTechCoachを提案する。
- 参考スコア（独自算出の注目度）: 32.86913329258327
- License:
- Abstract: To guide a learner in mastering action skills, it is crucial for a coach to 1) reason through the learner's action execution and technical points (TechPoints), and 2) provide detailed, comprehensible feedback on what is done well and what can be improved. However, existing score-based action assessment methods are still far from reaching this practical scenario. To bridge this gap, we investigate a new task termed Descriptive Action Coaching (DescCoach) which requires the model to provide detailed commentary on what is done well and what can be improved beyond a simple quality score for action execution. To this end, we first build a new dataset named EE4D-DescCoach. Through an automatic annotation pipeline, our dataset goes beyond the existing action assessment datasets by providing detailed TechPoint-level commentary. Furthermore, we propose TechCoach, a new framework that explicitly incorporates TechPoint-level reasoning into the DescCoach process. The central to our method lies in the Context-aware TechPoint Reasoner, which enables TechCoach to learn TechPoint-related quality representation by querying visual context under the supervision of TechPoint-level coaching commentary. By leveraging the visual context and the TechPoint-related quality representation, a unified TechPoint-aware Action Assessor is then employed to provide the overall coaching commentary together with the quality score. Combining all of these, we establish a new benchmark for DescCoach and evaluate the effectiveness of our method through extensive experiments. The data and code will be made publicly available.
- Abstract（参考訳）: 学習者が行動スキルを習得するためには、コーチが不可欠である。
1)学習者の行動実行と技術的ポイント(TechPoints)の理由と課題
2)何がうまく行われ、何が改善されるかについて、詳細な、理解可能なフィードバックを提供する。
しかし、既存のスコアに基づくアクションアセスメント手法はこの現実的なシナリオには程遠い。
このギャップを埋めるために、我々はDescCoach(Descriptive Action Coaching)と呼ばれる新しいタスクを調査します。
この目的のために、私たちはまずEE4D-DescCoachという新しいデータセットを構築しました。
自動アノテーションパイプラインを通じて、私たちのデータセットはTechPointレベルの詳細な注釈を提供することで、既存のアクションアセスメントデータセットを越えています。
さらに、DescCoachプロセスにTechPointレベルの推論を明示的に組み込む新しいフレームワークであるTechCoachを提案する。
これにより、TechCoachは、TechPointレベルのコーチングコメンタリの監督の下で、視覚的コンテキストをクエリすることで、TechPoint関連の品質表現を学習することができる。
視覚的コンテキストとTechPoint関連の品質表現を活用することで、品質スコアとともにコーチングのコメンタリーを提供するために、統合されたTechPoint対応のAction Assessorが使用される。
これらをすべて組み合わせて、DescCoachの新しいベンチマークを構築し、広範囲な実験を通して手法の有効性を評価する。
データとコードは公開されます。
関連論文リスト
- A Unified Understanding and Evaluation of Steering Methods [17.420727709895736]
ステアリング法は、中間活性化にステアリングベクトルを適用することにより、大きな言語モデルを制御するための実践的なアプローチを提供する。
その重要性は増しているが、この分野には、タスクやデータセット間で統一された理解と一貫した評価が欠けている。
本稿では, ステアリング手法を解析・評価し, 基本原理を定式化し, 有効性に関する理論的知見を提供する統一的枠組みを提案する。
論文 参考訳（メタデータ） (2025-02-04T20:55:24Z) - Instruction Embedding: Latent Representations of Instructions Towards Task Identification [20.327984896070053]
教育データにとって最も重要な側面は、特定の意味論や知識情報ではなく、それが表すタスクである。
本研究では,そのトレーニングと評価のための新しい概念,命令埋め込み,命令埋め込みベンチマーク(IEB)の構築について紹介する。
論文 参考訳（メタデータ） (2024-09-29T12:12:24Z) - IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。
IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
論文 参考訳（メタデータ） (2024-06-19T16:37:31Z) - Improving the Learning of Code Review Successive Tasks with Cross-Task
Knowledge Distillation [1.0878040851638]
本研究では,これらのタスクを同時に処理するために,クロスタスク知識蒸留を利用した新しいディープラーニングアーキテクチャdisCOREVを紹介する。
提案手法は, BLEUスコアによる評価値と, CodeBLEUスコアによるより正確なコード修正値から, より良いレビューコメントを生成する。
論文 参考訳（メタデータ） (2024-02-03T07:02:22Z) - Unity is Strength: Cross-Task Knowledge Distillation to Improve Code
Review Generation [0.9208007322096533]
本稿では,クロスタスク知識蒸留に基づく新しいディープラーニングアーキテクチャであるdisCOREVを提案する。
提案手法では,コメント生成モデルの微調整をコードリファインメントモデルで指導する。
以上の結果から,本手法はBLEUスコアによって評価されたより良いレビューコメントを生成することが示された。
論文 参考訳（メタデータ） (2023-09-06T21:10:33Z) - Learning Action-Effect Dynamics for Hypothetical Vision-Language
Reasoning Task [50.72283841720014]
本研究では,行動の効果に関する推論を改善する新しい学習戦略を提案する。
本稿では,提案手法の有効性を実証し,性能,データ効率,一般化能力の観点から,従来のベースラインに対する優位性を論じる。
論文 参考訳（メタデータ） (2022-12-07T05:41:58Z) - FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality
Assessment [93.09267863425492]
競争力のあるスポーツビデオにおける行動の高レベル意味論と内部時間構造の両方を理解することが、予測を正確かつ解釈可能なものにする鍵である、と我々は主張する。
本研究では,多様なダイビングイベントに対して,アクションプロシージャに関する詳細なアノテーションを付加した,ファインディビングと呼ばれる詳細なデータセットを構築した。
論文 参考訳（メタデータ） (2022-04-07T17:59:32Z) - Simple Control Baselines for Evaluating Transfer Learning [1.0499611180329802]
我々は,伝達学習のパフォーマンスを定量化し,伝達することを目的とした評価基準を共有している。
自己教師型学習に関するいくつかの基本的な質問について,実証的研究を例に紹介する。
論文 参考訳（メタデータ） (2022-02-07T17:26:26Z) - End-to-End Learning of Keypoint Representations for Continuous Control
from Images [84.8536730437934]
教師なしの事前学習、デコーダ、追加の損失を必要とせずに、エンドツーエンドで効率的なキーポイント表現を学習できることが示される。
提案アーキテクチャは,ソフトアクター・クリティカルエージェントに直接座標を供給するキーポイント抽出器で構成されている。
論文 参考訳（メタデータ） (2021-06-15T09:17:06Z) - Visual Transformer for Task-aware Active Learning [49.903358393660724]
プールベースのアクティブラーニングのための新しいパイプラインを提案する。
提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。
ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
論文 参考訳（メタデータ） (2021-06-07T17:13:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。