論文の概要: Distilling Virtual Examples for Long-tailed Recognition

• arxiv url: http://arxiv.org/abs/2103.15042v1
• Date: Sun, 28 Mar 2021 04:25:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 15:04:20.709908
• Title: Distilling Virtual Examples for Long-tailed Recognition
• Title（参考訳）: 長期音声認識における蒸留仮想例
• Authors: Yin-Yin He, Jianxin Wu, Xiu-Shen Wei
• Abstract要約: 仮想サンプル分布が元の入力分布よりも平坦になると、表現不足のテールクラスが大幅に改善されることを示す。 3つのベンチマークデータセットに関する広範な実験は、提案されたDiVEメソッドが最先端のメソッドを大幅に上回ることを正当化する。
• 参考スコア（独自算出の注目度）: 39.228720127539155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we tackle the long-tailed visual recognition problem from the knowledge distillation perspective by proposing a Distill the Virtual Examples (DiVE) method. Specifically, by treating the predictions of a teacher model as virtual examples, we prove that distilling from these virtual examples is equivalent to label distribution learning under certain constraints. We show that when the virtual example distribution becomes flatter than the original input distribution, the under-represented tail classes will receive significant improvements, which is crucial in long-tailed recognition. The proposed DiVE method can explicitly tune the virtual example distribution to become flat. Extensive experiments on three benchmark datasets, including the large-scale iNaturalist ones, justify that the proposed DiVE method can significantly outperform state-of-the-art methods. Furthermore, additional analyses and experiments verify the virtual example interpretation, and demonstrate the effectiveness of tailored designs in DiVE for long-tailed problems.
• Abstract（参考訳）: 本稿では,Distill the Virtual Examples(DiVE)法を提案することにより,知識蒸留の観点からの長期視覚認識問題に取り組む。 具体的には,教師モデルの予測を仮想例として扱うことで,これらの仮想例からの蒸留が一定の制約下でラベル分布学習と等価であることを示す。 仮想的なサンプル分布が元の入力分布よりも平坦になると、表現不足のテールクラスは大幅に改善され、ロングテール認識に欠かせないことが示される。 提案手法では,仮想サンプル分布のフラット化を明示的に調整できる。 大規模なiNaturalistを含む3つのベンチマークデータセットに対する大規模な実験は、提案したDiVEメソッドが最先端の手法を大幅に上回ることを正当化している。 さらに、仮想的なサンプル解釈を検証し、長い尾問題に対するDiVEの調整済み設計の有効性を実証する。

関連論文リスト

• Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
  マルチモーダルデータに特化して設計された統一因果モデルを提案する。 マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。 実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
  マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。 本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
  論文  参考訳（メタデータ） (2023-12-19T03:39:56Z)
• Towards Robust and Accurate Visual Prompting [11.918195429308035]
  本研究では,ロバストモデルから派生した視覚的プロンプトが,一般化性能の低下に悩まされながら,ロバスト性を継承できるかどうかを検討する。 本稿では,PBL(Prompt Boundary Loose)と呼ばれる新しい手法を提案する。 本研究は普遍的であり,提案手法の意義を実証するものである。
  論文  参考訳（メタデータ） (2023-11-18T07:00:56Z)
• Multi-Level Knowledge Distillation for Out-of-Distribution Detection in Text [12.428289757859433]
  自己教師付き表現学習は、アウト・オブ・ディストリビューション(OoD)検出に有用な要素であることが証明されている。 本稿では,両OoD検出手法の相補的特性を解析する。 本稿では,その限界を緩和しつつ,その強度を統合した多段階の知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T09:41:25Z)
• Contrastive Learning with Boosted Memorization [36.957895270908324]
  自己教師付き学習は、視覚的およびテキスト的データの表現学習において大きな成功を収めた。 近年の自己指導型長期学習の試行は、損失視点やモデル視点の再バランスによって行われる。 本稿では,ラベルを意識しないコンテキストにおける長期学習を強化するために,新しいBCL法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:54:22Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Class-Balanced Distillation for Long-Tailed Visual Recognition [100.10293372607222]
  実世界のイメージはしばしばクラスごとの画像数の著しい不均衡によって特徴づけられ、ロングテール分布に繋がる。 本研究では、インスタンスサンプリングで学習した特徴表現が長尾設定では最適とは程遠いという重要な観察を行うことで、新しいフレームワークを提案する。 我々の主な貢献は、知識蒸留を利用して特徴表現を強化する新しい訓練方法である。
  論文  参考訳（メタデータ） (2021-04-12T08:21:03Z)
• Achieving Efficiency in Black Box Simulation of Distribution Tails with Self-structuring Importance Samplers [1.6114012813668934]
  本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:37:22Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。