論文の概要: Knowledge as Priors: Cross-Modal Knowledge Generalization for Datasets without Superior Knowledge

• arxiv url: http://arxiv.org/abs/2004.00176v1
• Date: Wed, 1 Apr 2020 00:28:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 18:44:48.633355
• Title: Knowledge as Priors: Cross-Modal Knowledge Generalization for Datasets without Superior Knowledge
• Title（参考訳）: 先行知識: 上位知識を持たないデータセットのクロスモーダル知識一般化
• Authors: Long Zhao, Xi Peng, Yuxiao Chen, Mubbasir Kapadia, Dimitris N. Metaxas
• Abstract要約: クロスモーダルな知識蒸留は、優れたモーダルで訓練されたモデルから弱いモーダルで訓練された別のモデルに知識を移すことを扱う。 本研究では,教師が利用できないターゲットデータセットにおいて,生徒を訓練するための新しいスキームを提案する。
• 参考スコア（独自算出の注目度）: 55.32035138692167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-modal knowledge distillation deals with transferring knowledge from a model trained with superior modalities (Teacher) to another model trained with weak modalities (Student). Existing approaches require paired training examples exist in both modalities. However, accessing the data from superior modalities may not always be feasible. For example, in the case of 3D hand pose estimation, depth maps, point clouds, or stereo images usually capture better hand structures than RGB images, but most of them are expensive to be collected. In this paper, we propose a novel scheme to train the Student in a Target dataset where the Teacher is unavailable. Our key idea is to generalize the distilled cross-modal knowledge learned from a Source dataset, which contains paired examples from both modalities, to the Target dataset by modeling knowledge as priors on parameters of the Student. We name our method "Cross-Modal Knowledge Generalization" and demonstrate that our scheme results in competitive performance for 3D hand pose estimation on standard benchmark datasets.
• Abstract（参考訳）: クロスモーダルな知識蒸留は、優れたモーダル (Teacher) で訓練されたモデルから弱いモーダル (Student) で訓練された別のモデルへ知識を伝達する。 既存のアプローチでは、両方のモードにペアトレーニングの例が必要です。 しかし、優れたモダリティからデータにアクセスすることは、必ずしも実現可能であるとは限らない。 例えば、3Dハンドポーズ推定、深度マップ、点雲、ステレオ画像の場合、通常、RGB画像よりも優れた手構造をキャプチャするが、そのほとんどは収集に費用がかかる。 本稿では,教師が利用できないターゲットデータセットにおいて,学生を訓練するための新しいスキームを提案する。 我々のキーとなる考え方は、両方のモダリティからペア化されたサンプルを含むソースデータセットから得られた蒸留されたクロスモーダル知識を、学生のパラメータの事前知識としてモデル化することでターゲットデータセットに一般化することである。 本手法をクロスモーダル・ナレッジ・ジェネライゼーション (cross-modal knowledge generalization) と命名し, 標準ベンチマークデータセットにおける3次元ハンドポーズ推定の性能を比較検討した。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Towards a Generalist and Blind RGB-X Tracker [91.36268768952755]
  我々は、推論時間中に任意のモダリティ X を無視できる単一のモデルトラッカーを開発する。 トレーニングプロセスは非常にシンプルで,複数ラベルの分類損失をルーティング関数に統合する。 我々のジェネラリストとブラインドトラッカーは、確立されたモーダル固有モデルと比較して、競争性能を達成することができる。
  論文  参考訳（メタデータ） (2024-05-28T03:00:58Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Cross-Modal Fine-Tuning: Align then Refine [83.37294254884446]
  ORCAはクロスモーダルな微調整フレームワークであり、単一の大規模事前訓練モデルの適用範囲を様々に拡張する。 ORCAは12のモダリティから60以上のデータセットを含む3つのベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-11T16:32:28Z)
• CMD: Self-supervised 3D Action Representation Learning with Cross-modal Mutual Distillation [130.08432609780374]
  3D行動認識では、骨格のモダリティの間に豊富な相補的な情報が存在する。 本稿では,CMD(Cross-modal Mutual Distillation)フレームワークを提案する。 提案手法は,既存の自己管理手法より優れ,新しい記録を多数設定する。
  論文  参考訳（メタデータ） (2022-08-26T06:06:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。