論文の概要: WinARDet: Compressed Window Auto-Regression for Long-Horizon Vision-Language Grounding
- arxiv url: http://arxiv.org/abs/2610.19419v1
- Date: Wed, 14 Oct 2026 02:09:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.896281
- Title: WinARDet: Compressed Window Auto-Regression for Long-Horizon Vision-Language Grounding
- Title(参考訳): WinARDet: 長距離ビジョンランゲージグラウンドのための圧縮ウィンドウオートレグレス
- Abstract要約: MLLMに基づく検出器は、自己回帰座標生成として視覚言語接地を定式化する。
密集したシーンでは、しばしば箱の繰り返しループに崩壊し、復号予算が枯渇するまで同じ箱を繰り返し放出する。
我々はこのループを壊すために textbfCompressed Window Auto-Regression (WinAR) を提案する。
- 参考スコア(独自算出の注目度): 44.67625898166197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: MLLM-based detectors formulate vision-language grounding as autoregressive coordinate generation, yet in dense scenes, they often collapse into a box repetition loop, repeatedly emitting identical boxes until the decoding budget is exhausted. We trace this failure to historical-answer attention takeover: Under full-history autoregression, repeated coordinate tokens in the growing answer history attract disproportionate attention, crowding out the attention sinks needed to attend to new visual evidence. % To break this loop, in this paper, we propose \textbf{Compressed Window Auto-Regression} (WinAR). This new mechanism partitions a long answer sequence into consecutive generation windows and restricts full token-level autoregression to the current window only while compressing each previous window into a fixed set of latent tokens that condition subsequent decoding. This design reduces the repeated exposure to raw historical coordinates that triggers the attention takeover, yet preserves cross-window dependencies essential for coherent multi-object generation. On RSDense, which contains 200-2,000 objects per image, our model WinARDet improves RexOmni F1-score (IoU=0.5) from 32.16 to 39.36 over the baseline, while reducing the redundancy rate from 35.48% to 13.00%. WinARDet also generalizes across decoding strategies and output formats, including parallel box decoding and polygon generation, providing a practical paradigm for long-horizon vision-language grounding across scene densities.
- Abstract(参考訳): MLLMベースの検出器は、視覚言語による接地を自己回帰座標生成として定式化するが、密集したシーンでは、しばしば箱の繰り返しループに崩壊し、復号予算が枯渇するまで同じ箱を繰り返し放出する。
フルヒストリーの自己回帰の下で、増大する回答履歴における座標トークンの繰り返しは、不当な注目を集め、新しい視覚的証拠にたどり着くために必要な注意シンクを群がらせます。
% このループを破るために, 本論文では, textbf{Compressed Window Auto-Regression} (WinAR) を提案する。
この機構は、長い応答シーケンスを連続した生成ウィンドウに分割し、前のウィンドウを後続の復号を条件とした固定された潜在トークンのセットに圧縮しながら、トークンレベルの自己回帰を現在のウィンドウに制限する。
この設計は、注意獲得の引き金となる生の履歴座標への繰り返しの露出を減らすが、コヒーレントな複数オブジェクト生成に不可欠なウィンドウ間の依存関係を保っている。
画像あたり200-2,000のオブジェクトを含むRDSenseでは、WinARDetはベースライン上のRexOmni F1スコア(IoU=0.5)を32.16から39.36に改善し、冗長率は35.48%から13.00%に削減した。
WinARDetはまた、並列ボックスデコーディングやポリゴン生成など、デコーディング戦略や出力フォーマットを一般化し、シーン密度をまたいだ長距離視覚言語グラウンドの実践的パラダイムを提供する。
関連論文リスト
- Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning [67.2146856614177]
ViMoDは、推論が進化するにつれて、元のきめ細かい証拠へのアクセスを保ちながら、コンパクトな視覚コンテキストを維持する軽量フレームワークである。
Qwen3-VL-4Bでは、ViMoDは8つの推論ベンチマークのベースラインを20%の視覚トークン予算で上回っている。
論文 参考訳(メタデータ) (2026-10-08T14:42:57Z) - GenRec: Knowing Where to Reconstruct and Where to Generate [106.48347271421765]
GenRecは、再構築世代をそのアーキテクチャ、監督、勾配フローに直接分割するフローマッチングモデルである。
観察された領域で最高の復元忠実度を達成し、また、観測されていない領域では、知覚的品質の純粋に生成的ベースラインを超越する。
論文 参考訳(メタデータ) (2026-08-18T14:31:19Z) - Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳(メタデータ) (2026-05-26T10:10:26Z) - LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。
LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。
このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
論文 参考訳(メタデータ) (2026-03-03T18:55:37Z) - From Sequential to Spatial: Reordering Autoregression for Efficient Visual Generation [26.867135297190064]
自動回帰視覚生成を高速化する,効率的かつ並列化可能なフレームワークであるRadARを提案する。
提案手法は,視覚的トークンが局所的な強い依存度や空間的相関性を示すという観察に動機付けられ,その特性は標準スキャン復号命令で十分に活用されていない。
論文 参考訳(メタデータ) (2025-12-31T05:24:07Z) - Sliding Window Recurrences for Sequence Models [85.49118834785435]
線形リカレンスのための階層分解フレームワークを導入し,GPUメモリ階層に整合したアルゴリズムを開発できるようにする。
我々は、ハードウェア対応のウィンドウへの繰り返しをトラッピングすることに特化しており、これは自然にジャグリングされ、ワープ間通信のコストを抑えている。
我々は,窓面の注意や線形再発の代替となるPhalanx層を開発した。
論文 参考訳(メタデータ) (2025-12-15T21:53:17Z) - Breaking Quadratic Barriers: A Non-Attention LLM for Ultra-Long Context Horizons [0.0]
非常に長いコンテキストウインドウを効率的に処理する大規模言語モデル(LLM)のための新しい非注意型アーキテクチャを提案する。
自己注意機構の性質から2次記憶と過負荷に悩まされている従来のTransformer設計とは異なり、当社のモデルはトークンによる注意の注意を完全に回避している。
論文 参考訳(メタデータ) (2025-05-09T00:25:46Z) - ZipAR: Parallel Auto-regressive Image Generation through Spatial Locality [19.486745219466666]
ZipARは、自動回帰(AR)ビジュアル生成のためのトレーニング不要でプラグ&プレイの並列デコーディングフレームワークである。
ZipARは、追加の再トレーニングを必要とせずに、Emu3-Genモデルでモデル転送回数を最大91%削減できる。
論文 参考訳(メタデータ) (2024-12-05T10:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。