論文の概要: MAViE: A Multi-scale Adaptive Vision Encoder for Fine-grained Visual Perception and Efficient Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2607.24424v1
- Date: Mon, 27 Jul 2026 13:36:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.442613
- Title: MAViE: A Multi-scale Adaptive Vision Encoder for Fine-grained Visual Perception and Efficient Multimodal Reasoning
- Title（参考訳）: MAViE: きめ細かい視覚認識と効率的なマルチモーダル推論のためのマルチスケール適応型視覚エンコーダ
- Abstract要約: メソッドは、グローバルなセマンティクスを保存するために、視覚変換器から浅く、中間的で、深い特徴を融合する。
次に、質問関連、ローカル情報の内容、グローバルセマンティクス、空間カバレッジに応じて、質問条件付きトークンルーティングを実行する。
SigLIP-SO400Mの視覚トークンの平均数は729から146(約80.0%)に減少し、VQAv2、GQA、TextVQA、ScienceQA-IMG、MMBenchの平均スコアを2.2%改善する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Vision-language models commonly project all tokens produced by a pretrained vision encoder into a large language model. However, final-layer features can discard text, local attributes, and spatial relationships, while high-resolution inputs substantially increase context length and inference latency. We introduce \method, a Multi-scale Adaptive Vision Encoder. \method uses position-dependent gates to fuse shallow, intermediate, and deep features from a vision Transformer, preserving global semantics while enhancing edges, text, and local structure. It then performs question-conditioned token routing according to question relevance, local information content, global semantics, and spatial coverage, with a token budget that adapts to image complexity. To mitigate compression loss, we further introduce full-to-compressed representation distillation and a spatial diversity regularizer. In an illustrative simulation under a unified 7B language-model framework, \method reduces the average number of SigLIP-SO400M visual tokens from 729 to 146 (approximately 80.0\%) and improves the mean score on VQAv2, GQA, TextVQA, ScienceQA-IMG, and MMBench by 2.2 percentage points, while reducing single-image time to first token from 228\,ms to 129\,ms. We provide the full model design and evaluation protocol. All reported numbers currently serve only as placeholders for paper organization and experimental design; formal claims require real training runs, independent replications, and official benchmark evaluation.
- Abstract（参考訳）: ビジョン言語モデルは一般に、事前訓練されたビジョンエンコーダによって生成された全てのトークンを大きな言語モデルに投影する。
しかし、最終層機能はテキスト、ローカル属性、空間的関係を捨てることができ、高解像度の入力はコンテキスト長と推論遅延を大幅に増加させる。
マルチスケールアダプティブ・ビジョン・エンコーダである \method を紹介する。
\methodは位置依存ゲートを使用して、視覚変換器から浅い中深の機能を融合し、エッジ、テキスト、ローカル構造を強化しながらグローバルなセマンティクスを保存する。
次に、問題関連性、ローカル情報コンテンツ、グローバルセマンティクス、空間カバレッジに応じて質問条件付きトークンルーティングを実行する。
さらに,圧縮損失を軽減するため,圧縮圧縮蒸留法と空間多様性レギュレータを導入する。
統一された7B言語モデルフレームワーク下でのイラストレーションシミュレーションでは、SigLIP-SO400M視覚トークンの平均数が729から146(約80.0\%)に減少し、VQAv2、GQA、TextVQA、ScienceQA-IMG、MMBenchの平均スコアが2.2ポイント向上し、シングルイメージの時間を228\,msから129\,msに短縮した。
完全なモデル設計および評価プロトコルを提供する。
現在報告されているすべての数字は、紙の組織と実験的な設計のためのプレースホルダーとしてのみ機能しており、正式なクレームには、実際のトレーニングの実行、独立したレプリケーション、公式なベンチマーク評価が必要である。
関連論文リスト
- Full Glyph Images Beat Token Embeddings: A Controlled Study for Transformers [1.920312875157821]
我々は、漢字を表現するために、ビジョンベースモデルとインデックスベースベースラインを使用する。
すべてのテストされたデコーダのバックボーンの中で、ビジョンベースのモデルはベースラインを一貫して上回る。
アドバンテージは空間コヒーレント入力と2次元位置符号化を備えたViTエンコーダの両方を必要とする。
論文 参考訳（メタデータ） (2026-07-04T19:30:16Z) - OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following [59.53720386342017]
拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。
すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
論文 参考訳（メタデータ） (2026-05-26T00:08:06Z) - [CLS] is Not Enough: Multi-Label Recognition via Patch-Level Inference and Adaptive Aggregation [20.637119409165418]
PIAAは、アダプティブアグリゲーション(Adaptive Aggregation)によって、パッチレベルの推論として予測を定式化する。
パッチレベルのスコアを最終的なマルチラベル予測に集約するアダプティブアグリゲーションモジュールを導入する。
実験の結果,提案手法は最小限の余剰計算で強い改善を達成できることがわかった。
論文 参考訳（メタデータ） (2026-05-25T13:19:12Z) - What matters for Representation Alignment: Global Information or Spatial Structure? [64.67092609921816]
表現アライメント(REPA)は、強い事前訓練された視覚エンコーダから中間拡散特徴への表現を蒸留することにより、生成訓練を導く。
本稿では,対象表現のどの側面が生成に重要であるか,そのテクスト・グロバル・リビジョン・セマンティック・情報について検討する。
我々はREPAの標準射影層を単純な畳み込み層に置き換え、外部表現のための空間正規化層を導入する。
論文 参考訳（メタデータ） (2025-12-11T16:39:53Z) - Hybrid CNN-ViT Framework for Motion-Blurred Scene Text Restoration [2.0855516369698845]
我々は、畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)を組み合わせたハイブリッドディープラーニングフレームワークを導入する。
アーキテクチャは構造の詳細を保存するためにCNNベースのエンコーダデコーダを使用し、トランスフォーマーモジュールは自己注意を通じてグローバルな認識を高める。
提案手法は,PSNRでは32.20dB,SSIMでは0.934dB,軽量では2.83万パラメータ,平均推定時間は61msである。
論文 参考訳（メタデータ） (2025-11-08T17:48:58Z) - ViCO: A Training Strategy towards Semantic Aware Dynamic High-Resolution [71.69364653858447]
既存のMLLM(Multimodal Large Language Models)は、画像入力によって導入された視覚トークンの追加により、推論コストが増大する。
本研究では,異なる数の視覚トークンを用いて,様々な複雑度の画像を表現可能な,新しい学習アルゴリズムであるVisual Consistency Learning (ViCO)を提案する。
実験の結果,モデルの知覚,推論,OCR能力を維持しつつ,視覚トークンの数を最大50%削減できることがわかった。
論文 参考訳（メタデータ） (2025-10-14T17:58:10Z) - Inceptive Transformers: Enhancing Contextual Representations through Multi-Scale Feature Learning Across Domains and Languages [3.294155819837931]
Transformerモデルは、シーケンス内のすべてのトークンから1つの[/]トークンに情報を圧縮して、グローバルなコンテキストを表現する。
このアプローチは、きめ細かい機能や階層的な特徴を希薄化し、局所的なパターンが重要である下流のタスクで情報を失うリスクがある。
本稿では,トランス層上に位置するインセプションスタイルの1-D畳み込みモジュールを提案し,マルチスケールな局所的特徴を持つトークン表現を拡大する。
論文 参考訳（メタデータ） (2025-05-26T19:59:22Z) - Token-Shuffle: Towards High-Resolution Image Generation with Autoregressive Models [92.18057318458528]
Token-ShuffleはTransformerにおける画像トークンの数を減らす新しい方法である。
我々の戦略は、事前訓練されたテキストエンコーダを必要とせず、MLLMが超高解像度画像合成をサポートできるようにする。
GenAIベンチマークでは、2.7Bモデルがハードプロンプトで0.77点、ARモデルLlamaGenが0.18点、拡散モデルLDMが0.15点である。
論文 参考訳（メタデータ） (2025-04-24T17:59:56Z) - Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。
我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。
階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
論文 参考訳（メタデータ） (2022-07-19T15:49:35Z) - Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。
対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。
我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-03-27T21:16:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。