論文の概要: Virtual Encoders in Multimodal Transformers

• arxiv url: http://arxiv.org/abs/2609.26513v2
• Date: Thu, 24 Sep 2026 05:21:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.323128
• Title: Virtual Encoders in Multimodal Transformers
• Title（参考訳）: マルチモーダルトランスにおける仮想エンコーダ
• Abstract要約: マルチモーダル言語モデルは伝統的に、タスク使用可能な表現を構築するために、専用の知覚エンコーダに依存している。 より統合されたアーキテクチャが最近登場し、共有トランスフォーマーを軽量に投影されたパッチ、オーディオフレーム、離散的なビジュアルトークンに公開する。 変換器は、この欠落した計算を内部化し、タスク使用可能な知覚表現を、自身の早期から中級層内に構築することができる。
• 参考スコア（独自算出の注目度）: 14.558606757973548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal language models traditionally rely on dedicated perceptual encoders to construct task-usable representations. More integrated architectures have recently emerged, which instead expose the shared transformer to lightly projected patches, audio frames, or discrete visual tokens. Where does this encoding happen when such representations are not provided? We find that the transformer can internalize this missing computation, constructing task-usable perceptual representations within its own early-to-middle layers before the downstream language model. We call this computational structure a Virtual Encoder. Across linear probing, similarities to perceptual encoders, and causal analyses, we identify signatures of this structure in models that receive perceptual tokens without continuous encoder-derived features. These analyses also suggest that the boundary between perception and language processing need not coincide within an architectural module. Instead, encoder-like computation can emerge as a functional regime within a shared transformer, providing a new perspective for understanding where and how multimodal models process perception.
• Abstract（参考訳）: マルチモーダル言語モデルは伝統的に、タスク使用可能な表現を構築するために、専用の知覚エンコーダに依存している。 より統合されたアーキテクチャが最近登場し、共有トランスフォーマーを軽量に投影されたパッチ、オーディオフレーム、離散的なビジュアルトークンに公開する。 このような表現が提供されていない場合、このエンコーディングはどこで起こるのか? 変換器は、この欠落した計算を内部化し、ダウンストリーム言語モデルの前に、タスク使用可能なパーセプティカル表現を自身の早期から中級層内に構築する。 この計算構造を仮想エンコーダと呼ぶ。 線形探索,知覚エンコーダとの類似性,因果解析などを通じて,連続的なエンコーダを伴わない知覚トークンを受信するモデルにおいて,この構造のシグネチャを同定する。 これらの分析は、認識と言語処理の境界がアーキテクチャモジュール内で一致しないことを示唆している。 代わりに、エンコーダのような計算は共有トランスフォーマー内の機能的レギュレーションとして現れ、マルチモーダルモデルがどのように認識を処理するのかを理解するための新しい視点を提供する。

関連論文リスト

• Communication-Inspired Tokenization for Structured Image Representations [74.17163003465537]
  COMiT(Communication inspired Tokenization)は、構造化された視覚トークンシーケンスを学習するためのフレームワークである。 セマンティックアライメントが基盤となる一方で、解釈可能なオブジェクト中心のトークン構造を誘導するためには、注意的なシーケンシャルトークン化が重要であることを示す。
  論文  参考訳（メタデータ） (2026-02-24T09:53:50Z)
• Attention-Only Transformers via Unrolled Subspace Denoising [19.832264029213515]
  必要なコンポーネントのみを持つ完全に解釈可能なトランスフォーマーアーキテクチャを導出する。 このような反復的なdenoising操作をディープネットワークにアンロールすることで、我々は非常にコンパクトなアーキテクチャに到達します。 その単純さにもかかわらず、ビジョンと言語タスクの実験は、そのようなトランスフォーマーが標準的なトランスフォーマーアーキテクチャに近い性能を達成することを示した。
  論文  参考訳（メタデータ） (2025-06-04T09:53:14Z)
• White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is? [27.58916930770997]
  数学的に完全に解釈可能なCRATEという,ホワイトボックストランスフォーマーのようなディープネットワークアーキテクチャのファミリーを示す。 実験によると、これらのネットワークは単純さにもかかわらず、大規模な実世界の画像とテキストデータセットの表現を圧縮し、分散化することを学習している。
  論文  参考訳（メタデータ） (2023-11-22T02:23:32Z)
• Latent Space Translation via Semantic Alignment [29.2401314068038]
  我々は、異なるニューラルモジュールから学んだ表現が、異なる事前学習されたネットワーク間でどのように変換されるかを示す。 提案手法は, 与えられた2つの潜在空間間の変換を直接推定することにより, 付加的な訓練を伴わずに, エンコーダとデコーダを効果的に縫合できる。 特に、ゼロショットテクストテキストエンコーダやビジョンデコーダ、あるいはリバーサがいかに可能かを示し、このマルチモーダル環境で驚くほど優れた分類性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-01T17:12:00Z)
• Redundancy-aware Transformer for Video Question Answering [71.98116071679065]
  本稿では,ビデオQAを冗長性に認識してモデル化することを目的とした,トランスフォーマーに基づく新しいアーキテクチャを提案する。 隣接するフレームの冗長性に対処するために,隣接するフレームのオブジェクトレベルの変化を強調するビデオエンコーダ構造を導入する。 クロスモーダルな冗長性については、新たな適応サンプリングを融合モジュールに装備し、視覚と言語間の相互作用を明確に区別する。
  論文  参考訳（メタデータ） (2023-08-07T03:16:24Z)
• Dynamic Grained Encoder for Vision Transformers [150.02797954201424]
  本稿では,自然画像の空間的冗長性を生かした視覚変換器のスパースクエリを提案する。 本研究では,各空間領域に適切なクエリ数を適応的に割り当てる動的変換器を提案する。 我々のエンコーダにより、最先端のビジョン変換器は、画像分類において同等の性能を維持しながら、計算複雑性を40%から60%削減できる。
  論文  参考訳（メタデータ） (2023-01-10T07:55:29Z)
• What Makes for Good Tokenizers in Vision Transformer? [62.44987486771936]
  変圧器は自己注意を用いて対関係を抽出することができる。 優れたトークンライザとなるものは、コンピュータビジョンではよく理解されていない。 Tokens (MoTo) を横断する変調は、正規化によるトークン間モデリング機能を備えている。 TokenPropの正規化対象は、標準トレーニング体制で採用されている。
  論文  参考訳（メタデータ） (2022-12-21T15:51:43Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers [149.78470371525754]
  セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。 具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。 トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。 SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
  論文  参考訳（メタデータ） (2020-12-31T18:55:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。