論文の概要: Enhanced Knowledge Distillation for Detection Transformer via Teacher Prediction Refinement

• arxiv url: http://arxiv.org/abs/2609.19964v1
• Date: Thu, 17 Sep 2026 09:38:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.204277
• Title: Enhanced Knowledge Distillation for Detection Transformer via Teacher Prediction Refinement
• Title（参考訳）: 教師予測リファインメントによる検出変圧器の知識蒸留
• Abstract要約: Teacher Prediction Refinement Distillation (TPRD) は、蒸留前に教師の予測を洗練させるプラグイン・アンド・プレイモジュールである。 TPRDは、劣化した正の予測を補正する正の予測補正(PPC)を通じて、監督品質を改善する。 負の予測抑制(NPS)は、過信の否定の影響を抑え、誤った監督を与えるのを防ぐ。
• 参考スコア（独自算出の注目度）: 24.317507209703095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detection Transformers (DETRs) achieve strong performance in object detection but remain challenging to deploy on edge devices due to their high computational cost. Existing DETR distillation methods mainly focus on aligning distillation points, while largely overlooking the quality of the teacher's supervision itself. We observe that due to stage-wise non-monotonic prediction behavior in DETRs, well-localized or correctly classified predictions from earlier stages may degrade in later ones, and some negative predictions become increasingly overconfident. As a result, relying solely on the current stage's predictions yields inaccurate and inconsistent supervision. To address this issue, we propose Teacher Prediction Refinement Distillation (TPRD), a plug-and-play module that refines teacher predictions before distillation by exploiting stage-wise prediction information. TPRD improves supervision quality through Positive Prediction Correction (PPC), which corrects degraded positive predictions by restoring more accurate ones from earlier stages, ensuring reliable localization and classification signals, and Negative Prediction Suppression (NPS) suppresses the influence of overconfident negatives, preventing them from providing misleading supervision to the student. To preserve informative dark knowledge, we further introduce Maximum Dark Knowledge Preservation (MDKP), which selectively refines target-class logits while retaining non-target relations. Extensive experiments on MS COCO and PASCAL VOC demonstrate the effectiveness and robustness of the proposed method. Our code is available at https://github.com/xingyitong1/TPRD.
• Abstract（参考訳）: 検出変換器(DETR)はオブジェクト検出において高い性能を発揮するが、高い計算コストのためにエッジデバイスへのデプロイは困難である。 既存のDETR蒸留法は、主に蒸留点の整合に重点を置いているが、主に教師の監督の質を見落としている。 我々は、DETRにおける段階的非単調予測の振る舞いにより、初期段階からの局所的または正しく分類された予測は、後段で劣化し、いくつかの負の予測がますます過信される可能性があることを観察した。 その結果、現在のステージの予測のみに依存すると、不正確で一貫性のない監視が得られます。 そこで,本研究では,段階的予測情報を活用することで,蒸留前の教師予測を洗練させるプラグイン・アンド・プレイモジュールであるTPRDを提案する。 PPC(Positive Prediction Correction)は、より正確な予測を早期から復元し、信頼性の高いローカライゼーションと分類信号を確保することにより、監督品質を向上し、負の予測抑圧(NPS)は過信の否定の影響を抑え、学生に誤った監督を与えるのを防ぐ。 情報的暗黒知識の保存のために,非ターゲット関係を維持しつつ,ターゲットクラスのロジットを選択的に洗練するMDKP(Maximum Dark Knowledge Preservation)を導入する。 提案手法の有効性とロバスト性を示すため,MS COCOおよびPASCALVOCの大規模実験を行った。 私たちのコードはhttps://github.com/xingyitong1/TPRD.comで利用可能です。

関連論文リスト

• CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction [12.346416465825627]
  信頼できるオン・ポリシィ蒸留(CA-OPD)は、信頼性の高いロールアウト構築と適応的な監視を結合するフレームワークである。 GUIグラウンディングと光学文字認識のためのマルチ教師設定で評価され、CA-OPDはQwen3.5-0.8Bベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2026-09-02T10:11:59Z)
• Trajectory-Refined Distillation [25.346810464266497]
  トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。 TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
  論文  参考訳（メタデータ） (2026-06-07T03:17:25Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• GVFs in the Real World: Making Predictions Online for Water Treatment [23.651798878534635]
  実際の飲料水処理プラントにおける強化学習に基づく予測手法の適用について検討する。 まず、このデータセットを説明し、季節性、非定常性、部分観測可能性といった課題を強調します。 オンラインで学習するTDエージェントに対してオンライン更新を行わずに、純粋にオフラインで訓練されたTDエージェントを比較して、デプロイメントにおける学習の重要性を示す。
  論文  参考訳（メタデータ） (2023-12-04T04:49:10Z)
• Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
  ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。 本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。 ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
  論文  参考訳（メタデータ） (2021-12-15T15:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。