論文の概要: Segment Where You Look: Attention as the Interface Between Language Models and Segmenters

• arxiv url: http://arxiv.org/abs/2610.18729v1
• Date: Tue, 13 Oct 2026 17:06:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 20:03:37.837376
• Title: Segment Where You Look: Attention as the Interface Between Language Models and Segmenters
• Title（参考訳）: セグメンタ: 言語モデルとセグメンタのインターフェースとしての注意
• Abstract要約: 視覚言語モデル(VLM)は、言語から切り離されたモデルは、参照者の位置をピクセルデコーダに渡す必要がある。 画像トークンに対する[SEG]トークンの注意。 我々は、[SEG]埋め込みをデコーダのプロンプトとしてこの注意に置き換えるAttnSegを紹介します。
• 参考スコア（独自算出の注目度）: 77.48698308182495
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision-language models (VLMs) that segment from language must pass the location of the referent to a pixel decoder. The dominant interface compresses it into the hidden state of a single [SEG] token, a d-dimensional vector with no spatial index, and leaves the decoder, which never sees the expression, to recover the referent's extent. We show that the VLM already computes a better signal: the [SEG] token's attention over the image tokens, which is defined on the patch grid by construction. Probing a frozen segmentation VLM, we find that this attention yields 18 to 22 more gIoU than the [SEG] hidden state when read by the same probe, that it gains nothing from the image where the hidden state does, and that it is concentrated in the late layers. Building on these findings, we introduce AttnSeg, which replaces the [SEG] embedding with this attention as the decoder's prompt. A learned, signed combination of the attention heads forms a dense spatial prompt, and an attention-guidance objective supervises it directly. A two-stage recipe first trains the VLM to localize without the decoder, then trains the decoder to refine, within the budget of standard fine-tuning. Applied to Sa2VA, AttnSeg improves ReasonSeg by 6.4 gIoU and GS-Eval by 10.2 at 4B (4.2 and 9.6 over the same model fine-tuned on the same data), and by 8.8 and 11.3 at 14B. The gains reach 13 to 18 gIoU on object parts, multiple objects, and single objects, where the referent must be singled out, and are negligible on stuff regions, which the decoder already recovers unaided. Code and models are available at https://eslambakr.github.io/attseg_project_page/
• Abstract（参考訳）: 視覚言語モデル(VLM)は、言語から切り離されたモデルは、参照者の位置をピクセルデコーダに渡す必要がある。 支配的なインターフェースは、それを単一の[SEG]トークン、空間インデックスのないd次元ベクトルの隠れ状態に圧縮し、表現を決して見ることのないデコーダを残して、参照者の範囲を復元する。 画像トークンに対する[SEG]トークンの注意は、構成によってパッチグリッド上で定義される。 凍結セグメンテーションVLMを用いて、同じプローブで読み込むと、[SEG]隠された状態よりも18から22gIoU多くなり、隠された状態の像からは何も得られず、後期層に集中していることが分かる。 これらの知見に基づいて,我々は[SEG]埋め込みをデコーダのプロンプトとして置き換えるAttnSegを紹介した。 学習された、署名されたアテンションヘッドの組み合わせは、密集した空間的なプロンプトを形成し、アテンションガイダンスの対象が直接それを監督する。 2段階のレシピは、まずVLMをデコーダなしでローカライズするよう訓練し、次にデコーダを標準的な微調整の予算内で精錬するように訓練する。 Sa2VAに適用されたAttnSegは、ReasonSegを6.4gIoUとGS-Evalで10.2(同じデータで微調整された同じモデルで4.2と9.6)、14Bで8.8と11.3で改善した。 ゲインはオブジェクトの部分、複数のオブジェクト、単一のオブジェクトに対して13から18 gIoUに達する。 コードとモデルはhttps://eslambakr.github.io/attseg_project_page/で公開されている。

関連論文リスト

• Compressing AI Traffic: Standardized Neural Network Coding of Visual-Token Representations in Split Vision-Language Inference [15.357950338341285]
  ビデオ-MMEの精度は、送信されたBF16テンソルの98%まで圧縮されていない基準に近づき、その後崩壊する。 オープンエンドMLVU生成はLLM判定の下で同じプラトー・アンド・ロバスト性を示す。
  論文  参考訳（メタデータ） (2026-09-01T13:07:32Z)
• GLINT: Sparsely Gated Vision-Language Alignment for Fine-Grained Radiology Representations [1.2679579476597642]
  本稿では,この疎対応を明示的にモデル化したGLINT(Gated Language-ImagealignedmeNT)を提案する。 GLINTは、フリーテキストクエリからのゼロショット分類、グラウンド化、セグメンテーションを可能にする。 マスクの監督なしに3次元CTボリュームにゼロショットセグメンテーションを初めて示す。
  論文  参考訳（メタデータ） (2026-06-02T05:40:51Z)
• T-REN: Learning Text-Aligned Region Tokens Improves Dense Vision-Language Alignment and Scalability [10.51971591757392]
  T-REN(テキスト整列領域ネットワーク)は、視覚データをテキスト整列領域レベル表現(または領域トークン)のコンパクトなセットにマッピングする効率的なエンコーダである。 T-RENは、凍結したビジョンバックボーン上に追加された軽量ネットワークを通じてこれを達成し、各セマンティック領域内のパッチレベルの表現をリージョントークンにプールし、リージョンレベルのテキストアノテーションと整合させるように訓練する。
  論文  参考訳（メタデータ） (2026-04-20T17:57:02Z)
• STVG-R1: Incentivizing Instance-Level Reasoning and Grounding in Videos via Reinforcement Learning [65.36458157092207]
  視覚言語モデル(VLM)では、テキスト記述と視覚座標のミスアライメントはしばしば幻覚を引き起こす。 本稿では,座標の調整が難しい問題を回避するために,新しい視覚的プロンプトパラダイムを提案する。 本稿では,STVGの最初の強化学習フレームワークであるSTVG-R1を紹介する。
  論文  参考訳（メタデータ） (2026-02-12T08:53:32Z)
• Bridging Hidden States in Vision-Language Models [0.0]
  VLM(Vision-Language Models)は、画像コンテンツと自然言語を結びつける新しいモデルのファミリーである。 両エンコーダの上部付近に配置された,クロスオンリーで双方向の注意層を複数配置した軽量核融合モジュールを提案する。 エンコーダは非因果的であり、理解するために強く、生成はオプションのデコーダを介してクリーンに分離される。
  論文  参考訳（メタデータ） (2025-11-14T17:55:25Z)
• REN: Fast and Efficient Region Encodings from Patch-Based Image Encoders [48.93587822355874]
  Region Network (REN) は、ポイントプロンプトを用いて領域ベースの画像表現を生成するための高速で効果的なモデルである。 RENは、リージョントークンを直接生成する軽量モジュールを使用して、このボトルネックをバイパスする。 これはいくつかのクロスアテンションブロックを使用し、ポイントプロンプトをクエリとして取り、パッチベースのイメージエンコーダからキーと値として機能してリージョントークンを生成する。
  論文  参考訳（メタデータ） (2025-05-23T17:59:33Z)
• SED: A Simple Encoder-Decoder for Open-Vocabulary Semantic Segmentation [91.91385816767057]
  オープンボキャブラリセマンティックセグメンテーションは、ピクセルをオープンなカテゴリの集合から異なるセマンティックグループに区別する試みである。 オープン語彙セマンティックセグメンテーションのための単純なエンコーダデコーダSEDを提案する。 SED法では、ADE20KではmIoUスコアが31.6%、A6000では画像あたり82ミリ秒(ms$)のカテゴリが150である。
  論文  参考訳（メタデータ） (2023-11-27T05:00:38Z)
• SegViTv2: Exploring Efficient and Continual Semantic Segmentation with Plain Vision Transformers [76.13755422671822]
  本稿では,エンコーダ・デコーダ・フレームワークを用いた意味的セグメンテーションのためのプレーンビジョン変換器(ViT)の能力について検討する。 Intention-to-Mask(atm)モジュールを導入し、平易なViTに有効な軽量デコーダを設計する。 我々のデコーダは、様々なViTバックボーンを使用して人気のあるデコーダUPerNetより優れ、計算コストの5%程度しか消費しない。
  論文  参考訳（メタデータ） (2023-06-09T22:29:56Z)
• CTRAN: CNN-Transformer-based Network for Natural Language Understanding [0.456877715768796]
  インテント検出とスロット充填のための新しいエンコーダデコーダCNN-TransformerアーキテクチャであるCTRANを提案する。 エンコーダでは、BERTといくつかの畳み込み層を使用し、ウィンドウ特徴系列を用いて出力を並べ替える。 スロット充足デコーダでは,出力タグと入力トークンを整列させた整列トランスフォーマーデコーダを導入する。
  論文  参考訳（メタデータ） (2023-03-19T08:57:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。