論文の概要: Index-Aligned Query Distillation for Transformer-based Incremental Object Detection

• arxiv url: http://arxiv.org/abs/2508.11339v1
• Date: Fri, 15 Aug 2025 09:10:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.813859
• Title: Index-Aligned Query Distillation for Transformer-based Incremental Object Detection
• Title（参考訳）: 変圧器を用いたインクリメンタルオブジェクト検出のための索引調整クエリ蒸留法
• Authors: Mingxiao Ma, Shunyao Zhu, Guoliang Kang,
• Abstract要約: インクリメンタルオブジェクト検出(IOD)は、新しいカテゴリを検出するモデルの性能を継続的に拡張することを目的としている。 従来は知識蒸留(KD)に頼って、トランスフォーマーベースの検出モデルを忘れる破滅的な知識を軽減していた。 Index-Aligned Query Distillation (IAQD) を提案する。
• 参考スコア（独自算出の注目度）: 5.3499687969383345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incremental object detection (IOD) aims to continuously expand the capability of a model to detect novel categories while preserving its performance on previously learned ones. When adopting a transformer-based detection model to perform IOD, catastrophic knowledge forgetting may inevitably occur, meaning the detection performance on previously learned categories may severely degenerate. Previous typical methods mainly rely on knowledge distillation (KD) to mitigate the catastrophic knowledge forgetting of transformer-based detection models. Specifically, they utilize Hungarian Matching to build a correspondence between the queries of the last-phase and current-phase detection models and align the classifier and regressor outputs between matched queries to avoid knowledge forgetting. However, we observe that in IOD task, Hungarian Matching is not a good choice. With Hungarian Matching, the query of the current-phase model may match different queries of the last-phase model at different iterations during KD. As a result, the knowledge encoded in each query may be reshaped towards new categories, leading to the forgetting of previously encoded knowledge of old categories. Based on our observations, we propose a new distillation approach named Index-Aligned Query Distillation (IAQD) for transformer-based IOD. Beyond using Hungarian Matching, IAQD establishes a correspondence between queries of the previous and current phase models that have the same index. Moreover, we perform index-aligned distillation only on partial queries which are critical for the detection of previous categories. In this way, IAQD largely preserves the previous semantic and spatial encoding capabilities without interfering with the learning of new categories. Extensive experiments on representative benchmarks demonstrate that IAQD effectively mitigates knowledge forgetting, achieving new state-of-the-art performance.
• Abstract（参考訳）: インクリメンタルオブジェクト検出(IOD)は、学習済みのモデルの性能を保ちながら、新しいカテゴリを検出するモデルを継続的に拡張することを目的としている。 IODを実行するためにトランスフォーマーベースの検出モデルを採用する場合、破滅的な知識の忘れが必然的に起こる可能性がある。 それまでの典型的な方法は、トランスフォーマーに基づく検出モデルを忘れる破滅的な知識を軽減するために、主に知識蒸留(KD)に依存していた。 具体的には、ハンガリーマッチングを使用して、最終フェーズと現在のフェーズ検出モデルのクエリ間の対応を構築し、マッチしたクエリ間で分類器と回帰器出力を整列させて、知識の忘れを避ける。 しかし、IODタスクでは、ハンガリーのマッチングは良い選択ではない。 ハンガリーのマッチングでは、現在のフェーズモデルのクエリは、KD中に異なるイテレーションで最終フェーズモデルの異なるクエリと一致する可能性がある。 結果として、各クエリにエンコードされた知識は、新しいカテゴリに変換され、古いカテゴリの以前のエンコードされた知識が忘れられることになる。 そこで本研究では, 変圧器を用いたIODにおけるIAQD (Index-Aligned Query Distillation) という新しい蒸留手法を提案する。 ハンガリーのマッチング以外にも、IAQDは、同じインデックスを持つ前のフェーズモデルのクエリと現在のフェーズモデルのクエリの対応を確立する。 さらに,従来のカテゴリの検出に重要な部分的クエリに対してのみ,インデックス整列蒸留を行う。 このように、IAQDは、新しいカテゴリの学習に干渉することなく、従来の意味的および空間的エンコーディング能力をほとんど保持する。 代表的ベンチマークに関する大規模な実験は、IAQDが知識の忘れを効果的に軽減し、新しい最先端のパフォーマンスを達成することを実証している。

関連論文リスト

• Dynamic Object Queries for Transformer-based Incremental Object Detection [45.41291377837515]
  インクリメンタルオブジェクト検出は、新しいクラスを逐次学習することを目的としている。 従来の方法論は主に知識の蒸留と模範的な再生を通じて忘れる問題に取り組む。 安定塑性トレードオフを実現するためのモデル表現能力を漸進的に拡張するDyQ-DETRを提案する。
  論文  参考訳（メタデータ） (2024-07-31T15:29:34Z)
• Towards a Path Dependent Account of Category Fluency [2.66269503676104]
  本研究は, モデルを配列生成器として再構成することにより, 捕食状況の相違を解消する証拠を提示する。 また,Hills et al. (2012) モデルが生成品質の向上に用いた追加バイアスが要求されるため,カテゴリスイッチ予測器は必ずしも人間のようなシーケンスを生成しないことがわかった。
  論文  参考訳（メタデータ） (2024-05-09T16:36:56Z)
• Hausdorff Distance Matching with Adaptive Query Denoising for Rotated Detection Transformer [4.137346786534721]
  両部マッチングのためのハウスドルフ距離に基づくコストを導入し、予測と基底の真理との相違をより正確に定量化する。 本稿では,2部マッチングを用いた適応型問合せ記述手法を提案し,モデル改良から抽出した雑音付き問合せを選択的に除去する。
  論文  参考訳（メタデータ） (2023-05-12T16:42:54Z)
• Continual Detection Transformer for Incremental Object Detection [154.8345288298059]
  インクリメンタルオブジェクト検出(IOD)は、新しいオブジェクトカテゴリに対するアノテーションを備えた、フェーズ内のオブジェクト検出をトレーニングすることを目的としている。 他の段階的な設定として、IODは破滅的な忘れがちであり、知識蒸留(KD)や模範再生(ER)といった技術によってしばしば対処される。 本稿では,この文脈でKDとERを効果的に活用できるトランスフォーマーベースのIODを提案する。
  論文  参考訳（メタデータ） (2023-04-06T14:38:40Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。