論文の概要: RT-DETR-World: Transferring Rich LLM Semantics to Real-Time Open-Vocabulary Detection

• arxiv url: http://arxiv.org/abs/2610.09502v1
• Date: Wed, 07 Oct 2026 06:01:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.744963
• Title: RT-DETR-World: Transferring Rich LLM Semantics to Real-Time Open-Vocabulary Detection
• Title（参考訳）: RT-DETR-World:リッチLLMセマンティクスをリアルタイムオープン語彙検出に転送する
• Abstract要約: Open-vocabulary Detection (OVD) は、テキストカテゴリクエリによるトレーニング中に見えないカテゴリを認識する。 本稿では、訓練中に記述によって伝達されるリッチな意味を伝達するコンパクトなDETR型検出器RT-DETR-Worldを提案する。 また,教師による意味的類似性を利用した関係認識否定緩和(RNR)を提案する。
• 参考スコア（独自算出の注目度）: 26.047696124390296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-vocabulary detection (OVD) recognizes categories unseen during training through textual category queries, yet achieving strong generalization with real-time efficiency remains challenging. Beyond vocabulary scaling, zero-shot generalization may benefit from reusable visual--semantic cues learned from seen data, including attributes, actions, states, and contextual relations. Existing real-time OVD methods primarily emphasize vocabulary coverage and efficient region/query--text matching; under strict efficiency constraints, compact detectors may struggle to absorb rich instance semantics and scene context. We propose RT-DETR-World, a compact DETR-style detector that transfers the rich semantics conveyed by descriptions during training while retaining lightweight query--text matching at inference. We construct GroundingCapv2 with three levels of supervision: category names for standard OVD, object descriptions conveying instance-level semantics, and image descriptions conveying object relations and scene context. These descriptions serve only as training-time semantic supervision. To help the compact detector absorb these semantics, we propose Dual-Path Description Alignment (DDA), combining a deployment-consistent MiniLM pathway with a training-only LLM teacher. MiniLM provides query--category supervision and object-description alignment, while offline teacher features supervise matched queries and global visual representations at the object and image levels, respectively. All teacher features are precomputed, and the teacher-side modules are removed after training. We further propose Relation-Aware Negative Relaxation (RNR), which uses teacher-derived semantic similarities to relax related negatives while preserving exact positives. Experiments demonstrate competitive zero-shot accuracy and a favorable accuracy--efficiency trade-off. The code will be released.
• Abstract（参考訳）: Open-vocabulary Detection (OVD) は、テキストカテゴリクエリを通じてトレーニング中に見えないカテゴリを認識するが、リアルタイム効率で強力な一般化を実現することは困難である。 ボキャブラリスケーリング以外にも、ゼロショットの一般化は、属性、アクション、状態、コンテキスト関係を含む、見たデータから学習された再利用可能なビジュアル・セマンティックなキューの恩恵を受けることができる。 既存のリアルタイムOVD法は主に語彙カバレッジと効率的な領域/クエリ-テキストマッチングを強調しており、厳密な効率の制約の下では、コンパクト検出器はリッチなインスタンスのセマンティクスとシーンコンテキストを吸収するのに苦労する可能性がある。 本稿では,RT-DETR-Worldを提案する。RT-DETR-World,RT-DETR-World,RT-DETR-World,RT-DETR-World,RT-DETR-World,RT-DETR-World,RT-DETR-World,RT -DETR-World,RT-DETR-World。 我々は、標準OVDのカテゴリ名、インスタンスレベルのセマンティクスを伝達するオブジェクト記述、オブジェクトの関係とシーンコンテキストを伝達するイメージ記述の3つのレベルからなる、GroundingCapv2を構築した。 これらの記述は、訓練時の意味的監督としてのみ機能する。 そこで我々は,DDA(Dual-Path Description Alignment)を提案する。DDA(Dual-Path Description Alignment)は,DDA(Dual-Path Description Alignment)とDDA(Dual-Path Description Alignment)を併用し,DDA(Dual-Path Description Alignment)を提案する。 MiniLMはクエリカテゴリの監視とオブジェクト記述のアライメントを提供し、オフラインの教師は、それぞれオブジェクトレベルとイメージレベルで、マッチしたクエリとグローバルな視覚表現を監督する。 すべての教師機能は事前計算され、教師側のモジュールはトレーニング後に削除される。 さらに,教師による意味的類似性を用いた関係認識否定緩和(RNR)を提案する。 実験では、競争力のあるゼロショット精度と好適な精度-効率トレードオフが示される。 コードはリリースされます。

関連論文リスト

• Understanding What Is Not Said:Referring Remote Sensing Image Segmentation with Scarce Expressions [45.04317112354794]
  Referring Remote Sensing Imageは、リモートセンシングイメージのインスタンスを参照式に従ってセグメントすることを目的としている。 本稿では,RRSISのためのWREL(Weakly Referring Expression Learning)という新たな学習パラダイムを提案する。 混合参照学習は、完全注釈付き参照表現を用いたトレーニングと比較して、性能ギャップに証明可能な上限をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-10-26T17:18:48Z)
• AlignCAT: Visual-Linguistic Alignment of Category and Attribute for Weakly Supervised Visual Grounding [56.972490764212175]
  弱教師付きビジュアルグラウンドティングは、テキスト記述に基づいて画像中のオブジェクトを見つけることを目的としている。 既存の手法では、テキスト表現の微妙な意味的差異を区別するために、強力なクロスモーダル推論が欠如している。 本稿では、弱教師付きVGのための新しいクエリベースのセマンティックマッチングフレームワークAlignCATを紹介する。
  論文  参考訳（メタデータ） (2025-08-05T08:16:35Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• Tell me what you see: A zero-shot action recognition method based on natural language descriptions [3.136605193634262]
  ビデオから意味情報を抽出するビデオキャプション手法を提案する。 私たちの知る限りでは、ビデオとラベルの両方を記述文で表現するのはこれが初めてです。 複数のテキストデータセット上でパラフレージングタスクで事前訓練されたBERTベースの埋め込みを用いた共有意味空間を構築する。
  論文  参考訳（メタデータ） (2021-12-18T17:44:07Z)
• Self-supervised Learning for Semi-supervised Temporal Language Grounding [84.11582376377471]
  時間的言語接地(TLG)は、ビデオ中の特定の意味を含むセグメントの時間的境界をローカライズすることを目的としている。 以前の作業では、大量の手動アノテーションを必要とする完全に教師された設定や、満足のいくパフォーマンスを達成できない弱監督された設定で、このタスクに取り組みました。 アノテーションを限定して高い性能を達成するため,この課題を半教師付き方法で解決し,半教師付きテンポラル言語グラウンドディング(STLG)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-23T16:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。