論文の概要: TDDN: Text-aligned Diffused DINO Network for Puzzle Understanding

• arxiv url: http://arxiv.org/abs/2609.07937v1
• Date: Mon, 07 Sep 2026 19:52:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.506922
• Title: TDDN: Text-aligned Diffused DINO Network for Puzzle Understanding
• Title（参考訳）: TDDN: パズル理解のためのテキスト整列型DINOネットワーク
• Abstract要約: 現在の視覚言語モデル(VLM)は、きめ細かい視覚的知覚を欠いている。 画像テキスト検索においてCLIPと一致するテキスト整合モデルTDDNを開発した。 これはCLIPの高密度予測精度を3倍にしている。
• 参考スコア（独自算出の注目度）: 4.3420614278019976
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Structured visual reasoning, such as image puzzles, demands fine-grained visual perception, an ability current Vision Language Models (VLMs) lack. VLMs built on CLIP-based ViT backbones trade fine-grained detail for high-level semantics, and we show this loss propagates downstream. To recover it, we fuse DINOv3 and CleanDIFT representations into a perception encoder (DiffusedDINO) and align it with RoBERTa-L, yielding a text-aligned model TDDN that preserves this perceptual advantage: with frozen backbones and only $\sim$590K alignment pairs, TDDN matches CLIP on image-text retrieval, surpassing it on three of four settings. It does so while more than tripling CLIP's dense-prediction accuracy (ADE20K 5.20 $\to$ 18.11 mIoU, COCO-Stuff 7.35 $\to$ 24.44), despite CLIP's massive training corpus. TDDN leads on segmentation benchmarks among general-purpose contrastive encoders, including SigLIP$\,$2. We further introduce Puzzle Perception, a segmentation and visual question answering dataset that probes fine-grained spatial understanding, on which TDDN doubles CLIP's segmentation accuracy (11.04 $\to$ 22.51 mIoU).
• Abstract（参考訳）: 画像パズルのような構造的視覚推論は、微細な視覚知覚を必要とし、現在の視覚言語モデル(VLM)に欠けている。 CLIP ベースの ViT バックボーン上に構築された VLM は,高レベルのセマンティクスに対して細かな詳細を交換し,この損失が下流に伝播していることを示す。 DINOv3とCleanDIFT表現を認識エンコーダ(DiffusedDINO)に融合させ、RoBERTa-Lと整列させ、この知覚上の優位性を保持するテキスト整列モデルTDDNを生成する。 これは、CLIPの大規模なトレーニングコーパスにもかかわらず、CLIPの密度予測精度(ADE20K 5.20 $\to$ 18.11 mIoU, COCO-Stuff 7.35 $\to$ 24.44)を3倍にしている。 TDDNはSigLIP$\,$2.99を含む汎用コントラストエンコーダのセグメンテーションベンチマークをリードする。 このデータセットでは、TDDNがCLIPのセグメンテーション精度(11.04 $\to$ 22.51 mIoU)を2倍にする。

関連論文リスト

• Exploring 2D backbone effects for indoor semantic occupancy prediction [3.4985539398371235]
  EmbodiedScanのようなRGB-Dパイプラインでは、イメージエンコーダはしばしばデフォルトモジュールとして残される。 我々はこの設計選択を直接研究する。 メインのRGB-Dプロジェクション、奥行き枝、占有頭部を固定し、画像バックボーンのみを置き換える。
  論文  参考訳（メタデータ） (2026-09-15T14:37:40Z)
• $β$-CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment [53.42377319350806]
  $-CLIPは、多言語テキスト条件のコントラスト学習フレームワークである。 $-CALは、この階層に固有のセマンティックオーバーラップに対処する。 $-CLIPは、高密度視覚言語対応のための堅牢で適応的なベースラインを確立する。
  論文  参考訳（メタデータ） (2025-12-14T13:03:20Z)
• Partial CLIP is Enough: Chimera-Seg for Zero-shot Semantic Segmentation [55.486872677160015]
  本稿では,体としてのセグメンテーションバックボーンと,頭部としてのCLIPベースのセマンティックヘッドを統合したChimera-Segを提案する。 特に、Chimera-Segはトレーニング可能なセグメンテーションモデルとCLIPセマンティックヘッド(CLIP Semantic Head, CSH)を備えており、CLIP対応空間に高密度な特徴をマッピングする。 また,CLIP CLSトークンと高い類似性を示す濃厚な特徴から知識を抽出する選択的グローバル蒸留(SGD)を提案する。
  論文  参考訳（メタデータ） (2025-06-27T09:26:50Z)
• FG-CLIP: Fine-Grained Visual and Textual Alignment [3.830067625507938]
  本稿では,3つの重要なイノベーションを通じて微細な理解を深めるファイングラインドCLIPを提案する。 我々は、大容量マルチモーダルモデルを用いて、世界レベルのセマンティックディテールをキャプチャするために、160億の長いキャプションイメージペアを生成する。 我々は、高品質な領域固有のアノテーションと、きめ細かい負のサンプルを統合することで、FinHARDと呼ばれる包括的データセットを構築した。
  論文  参考訳（メタデータ） (2025-05-08T09:06:53Z)
• Talking to DINO: Bridging Self-Supervised Vision Backbones with Language for Open-Vocabulary Segmentation [56.001484215308075]
  本稿では,DINOv2の空間的精度とCLIPの言語理解を組み合わせた,新しいハイブリッドアプローチであるTalk2DINOを提案する。 本研究では,Talk2DINOの強力なセマンティック・ローカライゼーション能力によってセグメンテーションのプロセスが強化されることを示す。 実験の結果、Talk2DINOは教師なしのOVSベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-11-28T19:00:03Z)
• LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
  参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。 本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。 ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-17T07:47:41Z)
• SegViTv2: Exploring Efficient and Continual Semantic Segmentation with Plain Vision Transformers [76.13755422671822]
  本稿では,エンコーダ・デコーダ・フレームワークを用いた意味的セグメンテーションのためのプレーンビジョン変換器(ViT)の能力について検討する。 Intention-to-Mask(atm)モジュールを導入し、平易なViTに有効な軽量デコーダを設計する。 我々のデコーダは、様々なViTバックボーンを使用して人気のあるデコーダUPerNetより優れ、計算コストの5%程度しか消費しない。
  論文  参考訳（メタデータ） (2023-06-09T22:29:56Z)
• DetCLIPv2: Scalable Open-Vocabulary Object Detection Pre-training via Word-Region Alignment [104.54362490182335]
  DetCLIPv2は、大規模な画像テキストペアを組み込んでオープン語彙オブジェクト検出を実現する、効率的なトレーニングフレームワークである。 DetCLIPv2は、大量の画像テキスト対から端から端まで、粒度の細かい単語領域アライメントを直接学習する。 DetCLIPv2は1300万のイメージテキストペアを事前トレーニングすることで、より優れたオープン語彙検出性能を示す。
  論文  参考訳（メタデータ） (2023-04-10T11:08:15Z)
• PointCLIP: Point Cloud Understanding by CLIP [77.02399444893963]
  本稿では,CLIP符号化点クラウドと3Dカテゴリテキストのアライメントを行うPointCLIPを提案する。 PointCLIPは、リソースコストとデータレシエーションの低いCLIPによる効果的な3Dポイントクラウド理解のための、有望な代替手段である。
  論文  参考訳（メタデータ） (2021-12-04T19:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。