論文の概要: DiD It in 87 Minutes: A Label-Free Softmax-to-Linear Adaptation of Vision Transformers for Object Detection

• arxiv url: http://arxiv.org/abs/2608.22368v1
• Date: Sun, 23 Aug 2026 11:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.734566
• Title: DiD It in 87 Minutes: A Label-Free Softmax-to-Linear Adaptation of Vision Transformers for Object Detection
• Title（参考訳）: 87分以内のDiD:物体検出のための可視変換器のラベルなしソフトマックスからLinearへの適応
• Abstract要約: Detector-Interface Distillation (DiD) は、インタフェーステンソルをソフトマックス教師のものと整列させることで、リニアアテンションバックボーンを訓練するラベルなし変換法である。 DOTA-v1.5では、DiDは確立されたベースラインと、教師付き、完全に訓練された線形モデルとの整合性を大幅に上回っている。
• 参考スコア（独自算出の注目度）: 27.227554135787543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While linear attention is a compelling mechanism for high-resolution object detection due to its reduced cost for global token mixing, converting the Softmax-attention ViT backbone of a trained detector into a linear-attention one is not a trivial drop-in replacement. Directly swapping the attention operator leads to severe performance degradation, and generic label-free distillation, though effective for classification, often fails on detection tasks. We argue that the central challenge is \textit{detector-interface preservation}: the converted backbone must reproduce the exact feature tensors expected by the fixed downstream detector, rather than merely imitating internal Softmax hidden states. To address this, we introduce Detector-Interface Distillation (DiD), a label-free conversion method that exclusively trains the linear-attention backbone by aligning detector-facing interface tensors with those of a frozen Softmax teacher. On DOTA-v1.5, DiD substantially outperforms established baselines and matches supervised, fully trained linear models. Adaptation completes in roughly 87 minutes on 4 GPUs, and the linearized backbone cuts inference latency by ~62% and peak memory by ~49%. We hope our findings offer the community a simple, label-free route to reusing trained Softmax detectors as efficient linear ones, and encourage interface-aware objectives in future architecture-conversion work.
• Abstract（参考訳）: 線形アテンションは、グローバルトークン混合のコスト削減による高分解能物体検出の魅力的なメカニズムであるが、訓練された検出器のSoftmax-attention ViTバックボーンを線形アテンションに変換することは、自明なドロップイン置換ではない。 注意演算子を直接交換すると性能が著しく低下し、一般的なラベルなし蒸留は分類には有効であるが、検出タスクでは失敗することが多い。 変換されたバックボーンは、単に内部のSoftmax隠蔽状態を模倣するのではなく、固定下流検出器によって期待される正確な特徴テンソルを再現しなければならない。 そこで本研究では,リニアアテンションバックボーンのみを学習するラベルフリー変換手法であるディテクタ・インタフェース蒸留(DiD)を導入する。 DOTA-v1.5では、DiDは確立されたベースラインと、教師付き、完全に訓練された線形モデルとの整合性を大幅に上回っている。 適応は4つのGPUで約87分で完了し、線形化されたバックボーンは推論遅延を約62%削減し、ピークメモリを約49%削減する。 我々の発見は、訓練済みのSoftmax検出器を効率的な線形検出器として再利用するための、シンプルでラベルなしのルートをコミュニティに提供し、将来のアーキテクチャ・コンバージョン作業におけるインターフェース認識の目的を促進することを願っている。

関連論文リスト

• Visual Geometry Transformer in the Wild: Distractor-Free 3D Reconstruction [77.75911117889915]
  現在のエンドツーエンドのマルチビュー3D再構成手法は、目覚ましい結果を得るが、制限的な静的仮定に依存している。 この理想的な入力への依存は、最も高度なメソッドでさえ、現実世界の設定で失敗する原因となる。 非一貫性の視点から頑健な再構築を行うためのエンドツーエンドフレームワークであるWildにおけるビジュアルジオメトリトランスフォーマーを提案する。
  論文  参考訳（メタデータ） (2026-06-22T02:52:22Z)
• Need We Teach Foundation Models What is a Generative Image? Gradient-Free Generative Artifact Detection via Analytic Spectral Adaptation [3.881211374324378]
  勾配ベースの更新による生成成果物の検出に基礎モデルを適用することで、本質的な表現が損なわれる。 本稿では,二分分類から外分布(OOD)異常測定問題への検出を緩和する勾配のない手法を提案する。
  論文  参考訳（メタデータ） (2026-06-03T13:04:23Z)
• Amped: Adaptive Multi-stage Non-edge Pruning for Edge Detection [53.59823657644554]
  エッジ検出のための適応型多段非エッジプルーニングフレームワーク(Amped)を提案する。 Ampedは高信頼の非エッジトークンを識別し、可能な限り早く削除し、計算を大幅に削減する。 既存のエッジ検出ネットワークの構造的複雑さを軽減するため,Streamline Edge Detector(SED)と呼ばれる,シンプルながら高性能なTransformerベースのモデルを導入する。
  論文  参考訳（メタデータ） (2026-03-29T12:26:35Z)
• Axle Sensor Fusion for Online Continual Wheel Fault Detection in Wayside Railway Monitoring [1.1199585259018456]
  本研究は,鉄道断層診断のためのセマンティック・アウェア,ラベル効率のよい連続学習フレームワークを提案する。 このモデルは、フラットやポリゴン化による小さな欠陥を検出しながら、進化する運用条件に適応する。
  論文  参考訳（メタデータ） (2026-02-18T00:14:18Z)
• TinyDef-DETR: A Transformer-Based Framework for Defect Detection in Transmission Lines from UAV Imagery [12.48571944931548]
  TinyDef-DETRは、UAVが取得した画像から伝送路欠陥の正確かつ効率的な検出を実現するためのフレームワークである。 このモデルは、4つの主要なコンポーネントを統合している: エッジ強化されたResNetバックボーンで境界に敏感な表現を強化する、ストライドフリーなスペース・トゥ・ディープス・モジュールで詳細保存可能なダウンサンプリングを可能にする、Focler-Wise-SIoUレグレッション・ロスにより、小さくて難しいオブジェクトのローカライゼーションが向上する。
  論文  参考訳（メタデータ） (2025-09-07T12:36:33Z)
• CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
  本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。 まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。 分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
  論文  参考訳（メタデータ） (2024-11-25T07:56:13Z)
• OVLW-DETR: Open-Vocabulary Light-Weighted Detection Transformer [63.141027246418]
  本稿では,OVLW-DETR(Open-Vocabulary Light-Weighted Detection Transformer)を提案する。 本稿では,視覚言語モデル(VLM)からオブジェクト検出器への知識伝達を簡易なアライメントで行うエンド・ツー・エンドのトレーニングレシピを提案する。 実験により,提案手法は標準ゼロショットLVISベンチマークにおいて,既存の実時間開語彙検出器よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-15T12:15:27Z)
• MutDet: Mutually Optimizing Pre-training for Remote Sensing Object Detection [36.478530086163744]
  本研究では,MutDetと呼ばれるリモートセンシングオブジェクト検出のための,Mutally最適化事前学習フレームワークを提案する。 MutDetはオブジェクトの埋め込みを融合し、検出器は最後のエンコーダ層に双方向に機能し、情報インタラクションを強化する。 様々な環境での実験は、新しい最先端の転送性能を示している。
  論文  参考訳（メタデータ） (2024-07-13T15:28:15Z)
• DTAAD: Dual Tcn-Attention Networks for Anomaly Detection in Multivariate Time Series Data [0.0]
  本稿では,Transformer と Dual Temporal Convolutional Network (TCN) に基づく異常検出・診断モデル DTAAD を提案する。 予測精度の向上と相関性の向上のために,スケーリング手法とフィードバック機構を導入している。 7つの公開データセットに対する実験により、DTAADは検出および診断性能の両面で現在最先端のベースライン法の大部分を超えていることが確認された。
  論文  参考訳（メタデータ） (2023-02-17T06:59:45Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Efficient Decoder-free Object Detection with Transformers [75.00499377197475]
  視覚変換器(ViT)は、物体検出アプローチのランドスケープを変化させている。 本稿では,デコーダフリー完全トランス(DFFT)オブジェクト検出器を提案する。 DFFT_SMALLは、トレーニングおよび推論段階で高い効率を達成する。
  論文  参考訳（メタデータ） (2022-06-14T13:22:19Z)
• Integral Migrating Pre-trained Transformer Encoder-decoders for Visual Object Detection [78.2325219839805]
  imTEDは、数発のオブジェクト検出の最先端を最大7.6%改善する。 MS COCOデータセットの実験は、imTEDが一貫してそのデータセットを2.8%上回っていることを示している。
  論文  参考訳（メタデータ） (2022-05-19T15:11:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。