論文の概要: AgentPose: Progressive Distribution Alignment via Feature Agent for Human Pose Distillation

• arxiv url: http://arxiv.org/abs/2501.08088v1
• Date: Tue, 14 Jan 2025 12:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:29:14.256179
• Title: AgentPose: Progressive Distribution Alignment via Feature Agent for Human Pose Distillation
• Title（参考訳）: AgentPose: ヒューマン・ポース蒸留のための特徴剤によるプログレッシブ・ディストリクトアライメント
• Authors: Feng Zhang, Jinwei Liu, Xiatian Zhu, Lei Chen,
• Abstract要約: AgentPoseは、教師の特徴の分布をモデル化し、学生の特徴の分布と教師の特徴の分布を段階的に整合させる特徴剤を統合する新しいポーズ蒸留法である。 COCOデータセットを用いた包括的実験により,特に高いキャパシティギャップを有するシナリオにおいて,知識伝達における本手法の有効性が実証された。
• 参考スコア（独自算出の注目度）: 46.81137842142918
• License:
• Abstract: Pose distillation is widely adopted to reduce model size in human pose estimation. However, existing methods primarily emphasize the transfer of teacher knowledge while often neglecting the performance degradation resulted from the curse of capacity gap between teacher and student. To address this issue, we propose AgentPose, a novel pose distillation method that integrates a feature agent to model the distribution of teacher features and progressively aligns the distribution of student features with that of the teacher feature, effectively overcoming the capacity gap and enhancing the ability of knowledge transfer. Our comprehensive experiments conducted on the COCO dataset substantiate the effectiveness of our method in knowledge transfer, particularly in scenarios with a high capacity gap.
• Abstract（参考訳）: ポース蒸留は、人間のポーズ推定におけるモデルサイズを減らすために広く採用されている。 しかし,既存の手法は,教師と生徒の能力格差の呪いから生じる性能劣化を無視する一方で,教師の知識の伝達を重視している。 本稿では,教師の特徴の分布をモデル化し,学生の特徴の分布を教師の特徴の分布と漸進的に整合させ,能力格差を克服し,知識伝達能力を高めるための新しいポーズ蒸留手法であるAgentPoseを提案する。 COCOデータセットを用いた包括的実験により,特に高いキャパシティギャップを有するシナリオにおいて,知識伝達における本手法の有効性が実証された。

関連論文リスト

• Quantifying Knowledge Distillation Using Partial Information Decomposition [14.82261635235695]
  知識蒸留は、資源制約のある環境で複雑な機械学習モデルをデプロイするための効果的な方法を提供する。 本研究では,教師の表現の蒸留可能かつ蒸留された知識を,ある学生と下流の課題に対応付けて定量化する。 本手法は, 教員と学生の表現の複雑さの差に起因する課題に対処するために, 蒸留において実用的に応用できることを実証する。
  論文  参考訳（メタデータ） (2024-11-12T02:12:41Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Knowledge Distillation for Road Detection based on cross-model Semi-Supervised Learning [17.690698736544626]
  本稿では,知識蒸留と半教師付き学習手法を組み合わせた統合的アプローチを提案する。 このハイブリッドアプローチは、大規模モデルのロバストな機能を活用して、大規模な未ラベルデータを効果的に活用する。 半教師付き学習に基づく知識蒸留(SSLKD)アプローチは,学生モデルの性能向上を示す。
  論文  参考訳（メタデータ） (2024-02-07T22:50:47Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Leveraging Angular Distributions for Improved Knowledge Distillation [4.751886527142779]
  コンピュータビジョンアプリケーションでは、より高いキャパシティモデルによって学習される機能アクティベーションには、より豊富な知識が含まれており、背景に焦点を絞らずに完全なオブジェクトを強調している。 本稿では, 角縁型蒸留(AMD)損失と呼ばれる新しい蒸留損失関数を提案する。 提案手法は, 細粒度特徴, 増量, 蒸留法など, その他の学習手法との整合性に優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-27T20:34:30Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Distilling Knowledge via Intermediate Classifier Heads [0.5584060970507505]
  知識蒸留は、事前訓練されたより大きな教師モデルのガイドを用いて、リソース限定の学生モデルを訓練するためのトランスファーラーニングアプローチである。 キャパシティギャップの影響を軽減するため,中間頭部による知識蒸留を導入する。 種々の教師と学生のペアとデータセットに関する実験により,提案手法が標準知識蒸留法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-02-28T12:52:52Z)
• Transfer Heterogeneous Knowledge Among Peer-to-Peer Teammates: A Model Distillation Approach [55.83558520598304]
  本研究は, モデル蒸留により, 複数の学生間で経験と伝達値関数を再利用する新しい手法を提案する。 また、異種知識を活用するための効率的な通信プロトコルの設計方法について述べる。 提案するフレームワークである学習・指導カテゴリー強化は,学習の進捗を安定化・加速する上で有望な性能を示す。
  論文  参考訳（メタデータ） (2020-02-06T11:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。