論文の概要: Generative Distribution Distillation

• arxiv url: http://arxiv.org/abs/2507.14503v1
• Date: Sat, 19 Jul 2025 06:27:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.919348
• Title: Generative Distribution Distillation
• Title（参考訳）: 生成的分散蒸留
• Authors: Jiequan Cui, Beier Zhu, Qingshan Xu, Xiaogang Xu, Pengguang Chen, Xiaojuan Qi, Bei Yu, Hanwang Zhang, Richang Hong,
• Abstract要約: 単純なtextitGenDDベースラインは、高次元最適化の呪いとラベルからのセマンティックインスペクションの欠如という、2つの大きな課題に直面する。 テキストスプリットトークン化戦略を導入し、安定かつ効果的な教師なしKDを実現する。 また,リコンストラクション目的にラベル管理を統合するためのtextitDistribution Contraction 技術を開発した。
• 参考スコア（独自算出の注目度）: 109.84779053553896
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we formulate the knowledge distillation (KD) as a conditional generative problem and propose the \textit{Generative Distribution Distillation (GenDD)} framework. A naive \textit{GenDD} baseline encounters two major challenges: the curse of high-dimensional optimization and the lack of semantic supervision from labels. To address these issues, we introduce a \textit{Split Tokenization} strategy, achieving stable and effective unsupervised KD. Additionally, we develop the \textit{Distribution Contraction} technique to integrate label supervision into the reconstruction objective. Our theoretical proof demonstrates that \textit{GenDD} with \textit{Distribution Contraction} serves as a gradient-level surrogate for multi-task learning, realizing efficient supervised training without explicit classification loss on multi-step sampling image representations. To evaluate the effectiveness of our method, we conduct experiments on balanced, imbalanced, and unlabeled data. Experimental results show that \textit{GenDD} performs competitively in the unsupervised setting, significantly surpassing KL baseline by \textbf{16.29\%} on ImageNet validation set. With label supervision, our ResNet-50 achieves \textbf{82.28\%} top-1 accuracy on ImageNet in 600 epochs training, establishing a new state-of-the-art.
• Abstract（参考訳）: 本稿では, 条件付き生成問題として知識蒸留(KD)を定式化し, GenDD(textit{generative Distribution Distillation)フレームワークを提案する。 Naive \textit{GenDD}ベースラインは、高次元最適化の呪いとラベルからのセマンティックな監督の欠如という、2つの大きな課題に直面している。 これらの問題に対処するために、安定かつ効果的な教師なしKDを実現するための「textit{Split Tokenization}」戦略を導入する。 また,ラベル管理を再構築目的に組み込むために,textit{Distribution Contraction} 技術を開発した。 我々の理論的証明は, マルチタスク学習における勾配レベルのサロゲートとして, 複数ステップのサンプリング画像表現に対して, 明確な分類損失を伴わずに, 効率的な教師付き訓練を実現することを証明している。 本手法の有効性を評価するため,バランスの取れたデータ,不均衡なデータ,ラベルなしデータの実験を行った。 実験結果から, <textit{GenDD} は教師なし設定で競合的に動作し, ImageNet 検証セット上で \textbf{16.29\%} の KL ベースラインをはるかに上回っていることがわかった。 私たちのResNet-50はラベル管理によって600エポックトレーニングでImageNetのトップ1の精度を達成し、新たな最先端技術を確立しました。

関連論文リスト

• Graph-Based Uncertainty-Aware Self-Training with Stochastic Node Labeling [2.600103729157093]
  本稿では,ノード分類における自信過剰に対処するための,新しいEmphgraph-based uncertainty-aware self-training(GUST)フレームワークを提案する。 本手法は, グラフトポロジに基礎を置き, 従来の自己学習手法とは大きく異なる。 いくつかのベンチマークグラフデータセットの実験結果から,我々のGUSTフレームワークが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-26T21:54:19Z)
• Affinity-Graph-Guided Contractive Learning for Pretext-Free Medical Image Segmentation with Minimal Annotation [55.325956390997]
  本稿では,医用画像セグメンテーションのための親和性グラフ誘導半教師付きコントラスト学習フレームワーク(Semi-AGCL)を提案する。 このフレームワークは、まず、ロバストな初期特徴空間を提供する平均パッチエントロピー駆動のパッチ間サンプリング法を設計する。 完全アノテーションセットの10%に過ぎず, 完全注釈付きベースラインの精度にアプローチし, 限界偏差は2.52%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-10-14T10:44:47Z)
• 2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic Segmentation [92.17700318483745]
  合成訓練された2Dセマンティックセマンティックセグメンテーションネットワークから高レベル特徴情報を蒸留するアイデアに基づく画像誘導ネットワーク(IGNet)を提案する。 IGNetは、ScribbleKITTI上の弱い教師付きLiDARセマンティックセマンティックセグメンテーションの最先端の結果を達成し、8%のラベル付きポイントしか持たない完全な教師付きトレーニングに対して最大98%のパフォーマンスを誇っている。
  論文  参考訳（メタデータ） (2023-11-27T07:57:29Z)
• Revisiting Class Imbalance for End-to-end Semi-Supervised Object Detection [1.6249267147413524]
  半教師付きオブジェクト検出(SSOD)は、擬似ラベルに基づくエンドツーエンド手法の開発において大きな進歩を遂げている。 多くの手法は、擬似ラベルジェネレータの有効性を妨げるクラス不均衡のため、課題に直面している。 本稿では,低品質な擬似ラベルの根本原因と,ラベル生成品質を改善するための新しい学習メカニズムについて検討する。
  論文  参考訳（メタデータ） (2023-06-04T06:01:53Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)
• One Class One Click: Quasi Scene-level Weakly Supervised Point Cloud Semantic Segmentation with Active Learning [29.493759008637532]
  One Class One Click (OCOC)は、ポイントレベルのアノテーションとシーンレベルのアノテーションをカプセル化した、低コストで情報的な準シーンレベルのラベルである。 グローバル・ローカル・パースペクティブからの弱い監督を伴って、希少なラベルを活用するために、活発な弱監督フレームワークが提案されている。 F1スコアの平均値において、実際のシーンレベルの弱い監督手法を最大25%上回っている。
  論文  参考訳（メタデータ） (2022-11-23T01:23:26Z)
• STEdge: Self-training Edge Detection with Multi-layer Teaching and Regularization [15.579360385857129]
  大規模未ラベル画像データセットの未使用富を活用した自己学習エッジ検出の課題について検討する。 マルチレイヤの正規化と自己学習を併用した自己教師型フレームワークを設計する。 本手法は,未確認のBIPEDデータセットを用いて,ODSが4.8%,OISが5.8%向上した。
  論文  参考訳（メタデータ） (2022-01-13T18:26:36Z)
• All-Around Real Label Supervision: Cyclic Prototype Consistency Learning for Semi-supervised Medical Image Segmentation [41.157552535752224]
  半教師付き学習は、費用がかかる専門家によるアノテーションの取得の重い負担を軽減するため、医用画像のセグメンテーションが大幅に進歩している。 本稿では,ラベル付き-ラベル付き(L2U)フォワードプロセスとラベル付き-ラベル付き(U2L)バックワードプロセスによって構築された,新しいサイクリックプロトタイプ一貫性学習(CPCL)フレームワークを提案する。 我々のフレームワークは、過去のtextit"教師なし"一貫性を新しいtextit"教師なし"一貫性に変える。
  論文  参考訳（メタデータ） (2021-09-28T14:34:06Z)
• Mixed-supervised segmentation: Confidence maximization helps knowledge distillation [24.892332859630518]
  本研究では,ディープニューラルネットワークのためのデュアルブランチアーキテクチャを提案する。 上枝(教師)は強い注釈を受け、下枝(学生)は限られた監督によって駆動され、上枝が指導する。 エントロピーとKLの発散の相乗効果は性能を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2021-09-21T20:06:13Z)
• WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
  弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。 エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。 提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
  論文  参考訳（メタデータ） (2021-05-21T11:58:50Z)
• Towards Unsupervised Sketch-based Image Retrieval [126.77787336692802]
  本稿では,教師なし表現学習とスケッチ写真領域アライメントを同時に行う新しいフレームワークを提案する。 このフレームワークは,新しい教師なし設定では優れた性能を達成し,ゼロショット設定では最先端以上の性能を発揮する。
  論文  参考訳（メタデータ） (2021-05-18T02:38:22Z)
• STRUDEL: Self-Training with Uncertainty Dependent Label Refinement across Domains [4.812718493682454]
  ホワイトマター高輝度(WMH)セグメンテーションのための非監視領域適応(UDA)アプローチを提案する。 疑似ラベルの不確かさを予測し,不確かさの高いラベルを強調する不確実性誘導損失関数をトレーニングプロセスに統合する。 We results on WMH segmentation across datasets showed the significant improvement of STRUDEL on standard self-training。
  論文  参考訳（メタデータ） (2021-04-23T13:46:26Z)
• Towards Unbiased COVID-19 Lesion Localisation and Segmentation via Weakly Supervised Learning [66.36706284671291]
  本研究では,画像レベルラベルのみに監視されたデータ駆動型フレームワークを提案する。 このフレームワークは、生成する対向ネットワークと病変特異的デコーダの助けを借りて、原画像から潜在的な病変を明示的に分離することができる。
  論文  参考訳（メタデータ） (2021-03-01T06:05:49Z)
• MatchGAN: A Self-Supervised Semi-Supervised Conditional Generative Adversarial Network [51.84251358009803]
  本稿では,条件付き生成逆数ネットワーク(GAN)に対する,半教師付き環境下での自己教師型学習手法を提案する。 利用可能な数少ないラベル付きサンプルのラベル空間から無作為なラベルをサンプリングして拡張を行う。 本手法は,ベースラインのトレーニングに使用したラベル付きサンプルの20%に過ぎません。
  論文  参考訳（メタデータ） (2020-06-11T17:14:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。