論文の概要: Do Visual Grounding Decoders Need Feed-Forward Networks? A Controlled Study over Frozen Vision-Language Features

• arxiv url: http://arxiv.org/abs/2608.15061v1
• Date: Sat, 15 Aug 2026 06:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.177379
• Title: Do Visual Grounding Decoders Need Feed-Forward Networks? A Controlled Study over Frozen Vision-Language Features
• Title（参考訳）: 視覚的グラウンドデコーダはフィードフォワードネットワークを必要とするか?
• Abstract要約: 我々は,4ブロック対応のアテンション専用デコーダ(A4),4ブロック対応のアテンション+FFNデコーダ(S4),8ブロック対応のアテンション専用パラメータ制御(A8)を比較した。 A4はトレーニング可能なデコーダパラメータを44.4%削減し、キャッシュドデコーダレイテンシを10.1%削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do feed-forward networks (FFNs) in visual grounding decoders add essential computation once a pretrained vision-language model has already encoded image and language context? We compare a four-block attention-only decoder (A4), a matched four-block attention-plus-FFN decoder (S4), and an eight-block attention-only parameter control (A8) over frozen VLM features. A4 matches or slightly exceeds S4 on RefCOCOg and Ref-Adv-s. FineCops-Ref reveals a small A4 deficit of 0.52 percentage points at IoU@0.5 (95% CI [0.12, 0.95] in favor of S4), but A8 recovers it and finishes 0.26 points above S4. Official FineCops levels do not show a monotonic increase in the gap. A4 reduces trainable decoder parameters by 44.4% and cached-decoder latency by 10.1%, although end-to-end latency remains backbone-dominated. These results concern the trainable grounding decoder, not a complete attention-only VLM.
• Abstract（参考訳）: ビジュアルグラウンドディングデコーダにおけるフィードフォワードネットワーク(FFN)は、事前学習された視覚言語モデルが既に画像と言語コンテキストを符号化している場合、必須の計算を追加するだろうか? 我々は,4ブロック対応のアテンション専用デコーダ(A4),4ブロック対応のアテンション+FFNデコーダ(S4),8ブロック対応のアテンション専用パラメータ制御(A8)を比較した。 A4はRefCOCOgとRef-Adv-sでS4をわずかに上回る。 FineCops-Refは、IoU@0.5(95% CI [0.12, 0.95])でA4の小さな欠陥が0.52ポイント(S4に勝って95% CI [0.12, 0.95])であることを明らかにするが、A8はそれを回復し、S4より0.26ポイント上を走る。 公式のFinCopsレベルは、ギャップのモノトニックな増加を示すものではない。 A4はトレーニング可能なデコーダパラメータを44.4%削減し、キャッシュドデコーダレイテンシを10.1%削減する。 これらの結果は、完全な注意のみのVLMではなく、トレーニング可能な接地デコーダに関するものである。

関連論文リスト

• LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
  我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。 単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。 LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
  論文  参考訳（メタデータ） (2026-08-27T17:26:24Z)
• 4DAnyone: Create Anyone in 4D from a Casual Monocular Video [90.29631874006402]
  モノクロビデオから4D人間を再構築するためのフレームワークである4DAnyoneを提示する。 4DAnyoneはリコンストラクショングレードのマルチビュー一貫性ビデオを生成し、それを4Dガウススプラッティング(4DGS)に持ち上げる DNAレンダリングとDyMVHumansの実験では、4DAnyoneは、新しいビュービデオの品質と下流4DGSの再構築の両方において、従来の方法よりも優れていた。
  論文  参考訳（メタデータ） (2026-08-20T17:59:53Z)
• FlashDrive: Flash Vision-Language-Action Inference for Autonomous Driving [13.217418785964973]
  Vision-Language-Action(VLA)モデルは、エンドツーエンドの推論を自動運転にもたらすことを約束している。 計算コストは、リアルタイム制御には高すぎる。 我々は,4つのステージを同時にターゲットとする,アルゴリズムとシステムの共同設計フレームワークであるFlashDriveを提案する。
  論文  参考訳（メタデータ） (2026-08-13T08:10:54Z)
• Answer First, Reason Later: Commitment Order in Diffusion LLMs [8.902793668615567]
  マスケ拡散言語モデル(dLLM)は任意の順序でトークンをコミットすることができる。 推論タスクにおいて、この自由はむしろ失敗の軸であることを示す。
  論文  参考訳（メタデータ） (2026-08-06T07:25:04Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• Pruning as Regularization: Sensitivity-Aware One-Shot Pruning in ASR [0.0]
  ASRの強力な暗黙正則化器として,一等級プルーニングが有効であることを示す。 一方,デコーダFFNはプルーニングフランジであり,デコーダ自己アテンション層と最終エンコーダ層には冗長性があり,除去すると一般化が向上することを示す。
  論文  参考訳（メタデータ） (2025-11-11T10:45:59Z)
• BitNet a4.8: 4-bit Activations for 1-bit LLMs [95.73339037243105]
  1ビット大言語モデルの4ビットアクティベーションを可能にするBitNet a4.8を導入する。 我々はBitNet a4.8がBitNet b1.58と同等のトレーニングコストでパフォーマンスを実現することを実証した。
  論文  参考訳（メタデータ） (2024-11-07T18:41:50Z)
• Pushing the Limits of Fewshot Anomaly Detection in Industry Vision: Graphcore [71.09522172098733]
  FSADにおけるグラフ表現を利用して,新しい視覚不変特徴(VIIF)を異常測定特徴として利用する。 VIIFは異常識別能力を確実に向上し、Mに格納された冗長な特徴のサイズをさらに小さくすることができる。 さらに、教師なしFSADトレーニングを高速に実装し、異常検出の性能を向上させることができる、VIIFによる新しいモデルGraphCoreを提供する。
  論文  参考訳（メタデータ） (2023-01-28T03:58:32Z)
• Understanding INT4 Quantization for Transformer Models: Latency Speedup, Composability, and Failure Cases [24.34969722921442]
  W4A4量子化は、エンコーダのみのモデルとエンコーダデコーダのみのモデルに対して、無視可能な精度劣化を起こさないが、デコーダのみのモデルでは相当な精度低下を引き起こすことを示す。 我々は、異なる量子化戦略をサポートする高度に最適化されたエンドツーエンドのW4A4エンコーダ推論パイプラインを開発した。
  論文  参考訳（メタデータ） (2023-01-27T22:44:18Z)
• RedApt: An Adaptor for wav2vec 2 Encoding \\ Faster and Smaller Speech Translation without Quality Compromise [66.92823764664206]
  我々は,任意のトランスフォーマーベース音声符号化アーキテクチャにシームレスに統合可能な,新しいReduceer AdaptorブロックRedAptを提案する。 事前訓練されたwav2vec 2音声エンコーダをRedAptbrings 41%の高速化、33%のメモリ削減、24%のFLOPを推論で削減した。
  論文  参考訳（メタデータ） (2022-10-16T07:58:25Z)
• UniFormer: Unifying Convolution and Self-attention for Visual Recognition [69.68907941116127]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、ここ数年で主要なフレームワークである。 コンボリューションと自己注意の利点を簡潔なトランスフォーマー形式にシームレスに統合する新しいUnified TransFormer(UniFormer)を提案する。 我々のUniFormerはImageNet-1K分類において86.3トップ1の精度を実現している。
  論文  参考訳（メタデータ） (2022-01-24T04:39:39Z)
• QuadTree Attention for Vision Transformers [45.14894414521764]
  計算複雑性を2次から線形に低減するQuadTree Attentionを導入する。 我々のクアッドツリートランスフォーマーはトークンピラミッドを構築し、粗い方法で注意を計算します。 クワッドツリーのアテンションは,様々な視覚タスクにおける最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2022-01-08T05:45:32Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。