論文の概要: REDI: Corpus Aware Patch Ranking for DINOv3 Token Reduction

• arxiv url: http://arxiv.org/abs/2606.31676v1
• Date: Tue, 30 Jun 2026 13:54:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.240282
• Title: REDI: Corpus Aware Patch Ranking for DINOv3 Token Reduction
• Title（参考訳）: REDI:DINOv3トークン削減のための企業対応パッチランキング
• Abstract要約: REDIは、画像分類のためのパッチに固定トークンの予算を割り当てるにはどうすればよいか? Rediは最終的なブロックDINOv3パッチ表現を視覚語彙に定量化する。 入ってくる注目質量に基づくRedi変種は、ImageNet-1Kで84.706%のTop-1精度を達成した。
• 参考スコア（独自算出の注目度）: 1.0099625992507717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most token reduction methods for Vision Transformers seek favorable tradeoffs between accuracy and efficiency by pruning, merging, or pooling patch tokens. REDI (Relevance for DINOv3 Token Reduction) studies this question through a controlled supervised reference: how should a fixed token budget be allocated across patches for image classification? REDI quantizes final block DINOv3 patch representations into a visual vocabulary and derives class conditioned corpus scores using supervised TF-IDF over visual words. For each validation image, the ground truth class selects a row of the TF-IDF table, and four transformed views produce a TF-IDF map aligned to a reference center crop. A separate dense pass on the same crop provides an attention map. After independent min max normalization, their elementwise product defines the REDI score. A fixed keep, merge, and compress operator then uses score rank to assign patch roles and score magnitude to weight merging and compression. With precomputed REDI scores, a frozen DINOv3 ViT-B/16 backbone, and the same linear classifier used for dense evaluation, the operator reduces the sequence length from 201 to 107 tokens, a 46.8% sequence reduction. The REDI variant based on incoming attention mass achieves 84.706% Top-1 accuracy on ImageNet-1K, compared with 83.514% for the dense baseline, 82.634% for incoming attention mass alone, and 81.796% for supervised TF-IDF alone. The same corpus term also improves reduced classification for three alternative attention formulations relative to their attention only counterparts. Together, these controlled comparisons indicate that class specific corpus statistics and image specific attention provide complementary signals for patch ranking in this setting.
• Abstract（参考訳）: ビジョントランスフォーマーのほとんどのトークン削減方法は、パッチトークンをプルーニング、マージ、プールすることで、精度と効率の良好なトレードオフを求める。 REDI(Relevance for DINOv3 Token Reduction)は、イメージ分類のためのパッチ間でどのように固定トークン予算を割り当てるべきか? REDIは、最終ブロックDINOv3パッチ表現を視覚語彙に量子化し、教師付きTF-IDFを用いてクラス条件付きコーパススコアをビジュアルワードに導出する。 各検証画像に対して、基底真理クラスは、TF-IDFテーブルの行を選択し、4つの変換されたビューは、基準中心の作物に整列したTF-IDFマップを生成する。 同じ作物上の別の密集したパスは、注意マップを提供する。 独立分極正規化の後、それらの元素積はREDIスコアを定義する。 固定キープ、マージ、圧縮演算子はスコアランクを使用してパッチロールを割り当て、重み付けと圧縮のためにスコアグレードを割り当てる。 事前計算されたREDIスコア、凍結したDINOv3 ViT-B/16バックボーン、および密度評価に使用される同じ線形分類器により、演算子はシーケンス長を201トークンから107トークンに削減し、46.8%のシーケンス短縮を行う。 入ってくる注目質量に基づくREDI変種は、ImageNet-1Kで84.706%、高密度ベースラインで83.514%、入ってくる注目質量で82.634%、監督されたTF-IDFで81.796%である。 同じコーパス項は、注意のみに対する3つの別の注意定式化に対する分類の削減も改善する。 これらの制御された比較は、クラス固有のコーパス統計とイメージ固有の注意が、この設定におけるパッチランキングを補完する信号を提供することを示している。

関連論文リスト

• Anatomical Grounding and Leakage-Aware Multimodal Contrastive Learning for Alzheimer's Disease Classification from Structural MRI [0.0]
  アルツハイマー病の構造MRIで訓練されたディープネットワークは、解剖学的に無関係な領域に到達しながら、妥当な精度に達することが多い。 我々は解剖学的参照としてFastSurferセグメンテーションを使用します。 私たちは、CLIPスタイルのイメージに適応し、ラベルリードスペクトルに沿ってADNIMERGE変数を整理する。
  論文  参考訳（メタデータ） (2026-09-14T17:13:12Z)
• HAP: Head-Adaptive Visual Token Pruning via Cross-Modal Alignment [76.68875424389057]
  既存の手法では、すべての頭部に一様にテキストから視覚への注意を平均化することで、各視覚トークンをスコアリングする。 頭が不一致で 平均的に支配され 背景のトークンを増幅し きめ細かな手がかりを 吐き出す 本稿では,各頭部のプロンプトと画像領域の整合性を評価する指標であるPAQ(Prompt-Grounded Attention Quality)を提案する。
  論文  参考訳（メタデータ） (2026-08-24T23:55:36Z)
• Beyond Static Anchors: Bounded Prototype Conditioning for Language-Free Medical Anomaly Detection [52.986874008247554]
  本稿では,静的アンカーを入力条件付きビジュアルプロトタイプに置き換える言語フリーフレームワークReCAPを提案する。 ReCAPリセンターは、境界ゲート変調により、各画像の正常と異常なプロトタイプを分離した。 3つのセグメンテーションデータセットで最高のゼロショットレベルのAUROCと、24の複数ショット設定のうち23のゼロショットレベルのAUROCを達成する。
  論文  参考訳（メタデータ） (2026-08-01T04:46:55Z)
• What CLIP Knows but Cannot Say: Recovering Negation from Frozen Intermediate Features [3.9492850032415876]
  CLIPのような対照的な視覚言語モデルは、意味論的に逆のフレーズをほぼ同一の埋め込みにマッピングする。 中層は構成構文を構築するが、最終層は視覚的アライメントが上昇するにつれてこの構造を崩壊させる。 本稿では,ピーク時のエンコーダを傍受する軽量なポストホック補正システムであるPeakPatchを提案する。
  論文  参考訳（メタデータ） (2026-07-25T16:15:50Z)
• qZACH-ViT: Quantization-Aware Intrinsic Explanations with Recursive Attribution-Stabilized Optimization [0.0]
  ゼロトケンフリーなZACH-ViTバックボーンの量子化対応拡張であるqZACH-ViTを導入する。 帰納的属性安定化最適化(RASO)も導入する。 我々は,クラス毎に50のトレーニング画像と10の固定種子を用いて,7つのMedMNISTデータセットに対して4つの制御条件を評価する。
  論文  参考訳（メタデータ） (2026-07-16T19:51:48Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• OTCHA: Optimal Transport-driven Confidence-aware Latent Hub Alignment for Multi-View Medical Image Classification [0.01268579273097071]
  医用画像は、しばしば登録されておらず、ビュー固有のアーティファクトや無関係な背景手がかりを含んでいる。 我々は,最適なトランスポートに基づく信頼度を意識した潜在ハブトークンアライメントモジュールであるOCCHAを提案する。
  論文  参考訳（メタデータ） (2026-06-18T06:32:52Z)
• ScoreGate: Adaptive Chunk Selection for Retrieval-Augmented Generation via Dual-Score Statistical Fusion [0.0]
  本稿では,ScoreGateについて述べる。ScoreGateは軽量なスコア空間決定機構で,推定時刻における検索濃度を制御する。 MS MARCO (200 開発クエリ)では、ScoreGate は MRR@10 = 0.401 を達成する。 MS MARCOと実世界の生産トラフィックの結果から,適応的検索基準は検索品質を劣化させることなく,検索効率を向上させることが示唆された。
  論文  参考訳（メタデータ） (2026-06-12T08:51:24Z)
• What Does the Caption Really Say? Counterfactual Phrase Intervention for Compositional Data Selection in Vision-Language Pretraining [5.739405014622565]
  CLIPスタイルのコントラスト事前トレーニングは、通常、サンプルレベルのフィルタリング信号を使用してWebスケールの画像テキストペアをキュレートする。 粗いミスマッチが取り除かれたら、より厳密なグローバルフィルタリングは、保持されたキャプションによって提供される構成上の監督をもはや追跡しない。 本稿では,制御されたナンストケン置換を画像条件付きフレーズセンシティブスコアに変換するフレーズレベルキュレーションフレームワークであるCPIを用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-05-21T15:55:15Z)
• REAR: Rethinking Visual Autoregressive Models via Generator-Tokenizer Consistency Regularization [130.46612643194973]
  reARはトークン単位の正規化目標を導入する単純なトレーニング戦略です。 ImageNetでは、gFIDを3.02から1.86に削減し、標準化ベースのトークンーザを使用してISを316.9に改善している。 高度なトークン化器に適用すると、177Mパラメータしか持たない1.42のgFIDが達成され、その性能はより大きな最先端拡散モデル(675M)と一致する。
  論文  参考訳（メタデータ） (2025-10-06T02:48:13Z)
• REOrdering Patches Improves Vision Models [58.8295093799148]
  パッチ順序がそのような設定におけるモデル性能に大きく影響していることが示される。 本稿では,タスク最適パッチ順序を見つけるためのフレームワークであるREOrderを提案する。 Re Orderは、ImageNet-1K上の行マジョールの順序を最大3.01%改善し、世界の関数マップを13.35%改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:59:30Z)
• Accelerating Transformers with Spectrum-Preserving Token Merging [43.463808781808645]
  PiToMeは、エネルギースコアと呼ばれる追加のメトリックを使用して、情報トークンの保存を優先する。 実験の結果,PiToMeはベースモデルの40～60%のFLOPから保存されていた。
  論文  参考訳（メタデータ） (2024-05-25T09:37:01Z)
• Simple Token-Level Confidence Improves Caption Correctness [117.33497608933169]
  Token-Level Confidence(TLC)は、字幕の正確さを評価するシンプルな方法であるが、驚くほど効果的である。 画像キャプションに関する視覚言語モデルを微調整し、画像と提案されたキャプションをモデルに入力し、単語やシーケンスに対するトークンの信頼度を集計し、画像キャプションの一貫性を推定する。
  論文  参考訳（メタデータ） (2023-05-11T17:58:17Z)
• Centroid-centered Modeling for Efficient Vision Transformer Pre-training [44.24223088955106]
  Masked Image Modeling (MIM)は、視覚変換器(ViT)を用いた新しい自己教師型ビジョン事前学習パラダイムである。 提案するCentroid-based approach, CCViT は k-means clustering を利用して画像モデリングのためのCentroid を得る。 提案手法は, 外部監督や蒸留訓練を伴わずに, 最近のベースラインと競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-03-08T15:34:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。