論文の概要: Latent-Lens: Visual Perception in Small Language Models Through Latent Communication

• arxiv url: http://arxiv.org/abs/2610.41751v1
• Date: Fri, 30 Oct 2026 13:53:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.761399
• Title: Latent-Lens: Visual Perception in Small Language Models Through Latent Communication
• Title（参考訳）: Latent-Lens:潜時コミュニケーションによる小言語モデルにおける視覚知覚
• Abstract要約: 凍結VLMと凍結SLMとの表現ギャップを埋める軽量なシステムである textbfLatent-Lens を提案する。 Latent-Lens は 81.0pm7.9$% と 65.4pm5.4$% を達成しているが、テキスト通信では 58.3pm5.7$% と 61.8pm1.0$% を達成している。 また,TinyLlama-1.1BとInternVL2-1Bを用いて,異なるアーキテクチャ,語彙,隠蔽次元を用いた潜伏線の評価を行った。
• 参考スコア（独自算出の注目度）: 2.893006778402251
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bridging independent vision-language models (VLMs) and small language models (SLMs) in a modular multi-agent system typically forces them to exchange information as discrete text, which creates a lossy bottleneck for spatial and fine-grained details. This constraint is especially acute for SLMs, whose limited capacity makes them more reliant on the quality of the input signal. Recent latent-communication methods exchange states between language models. How a VLM can pass visual information to a separately pretrained text-only SLM though remains unexplored. We propose \textbf{Latent-Lens}, a lightweight codec that bridges the representation gap between a frozen VLM and a frozen SLM directly in latent space, enabling them to communicate purely through hidden states. The codec consists of a domain encoder that projects hidden states from the VLM into the SLM's embedding space, and an attention decoder formalised as a LoRA that teaches the SLM to attend to these visual prefixes, while training only ${\sim}1.6$M parameters (0.2\% of the combined model size). On visual question answering (CLEVR, GQA), Latent-Lens achieves $81.0\pm7.9$\% and $65.4\pm5.4$\%, compared with $58.3\pm5.7$\% and $61.8\pm1.0$\% for text communication with the same LoRA budget (+30.2--69.8pp relative to frozen text communication), while on image captioning (Flickr8k) it improves over the same baseline by +16.5 (+18.8 frozen). We also evaluate Latent-Lens with TinyLlama-1.1B and InternVL2-1B, which use different architectures, vocabularies, and hidden dimensions.
• Abstract（参考訳）: モジュール型マルチエージェントシステムにおける独立視覚言語モデル(VLM)と小言語モデル(SLM)のブレンドは、通常、情報を離散テキストとして交換することを強制する。 この制約は、入力信号の品質により依存する能力に制限があるSLMにとって特に急激である。 最近の潜在コミュニケーション手法は言語モデル間で状態を交換する。 VLMが視覚情報を個別に事前訓練されたテキストのみのSLMに渡す方法はまだ解明されていない。 本稿では,凍結VLMと凍結SLMとの表現ギャップを遅延空間に直接ブリッジする軽量コーデックである‘textbf{Latent-Lens} を提案する。 コーデックは、VLMからSLMの埋め込み空間に隠れた状態を投影するドメインエンコーダと、SLMにこれらの視覚的接頭辞に出席するように指示するLoRAとして形式化されたアテンションデコーダとから構成される。 視覚的質問応答 (CLEVR, GQA) では、Latent-Lens は 81.0\pm7.9$\% と 65.4\pm5.4$\% と 58.3\pm5.7$\% と 61.8\pm1.0$\% を同じ LoRA の予算 (+30.2-69.8pp) で表すのに対して、画像キャプション (Flickr8k) では +16.5 (+18.8 frozen) で同じベースラインを改善する。 また,TinyLlama-1.1BとInternVL2-1Bを用いて,異なるアーキテクチャ,語彙,隠蔽次元を用いた潜伏線の評価を行った。

関連論文リスト

• Conan-Embedding-v2: Training an LLM from Scratch for Text Embeddings [25.724646707322986]
  大規模言語モデル(LLM)は、最近、テキスト埋め込みタスクにおいて優れたパフォーマンスを示している。 本研究では,スクラッチからトレーニングし,テキスト埋め込みとして微調整した新しい1.4BパラメータであるConan-embedding-v2を紹介する。 直感的で有効であり、約1.4Bのパラメータしか持たないConan-embedding-v2は、MTEB(Massive Text Embedding Benchmark)と中国のMTEB(2025年5月19日)でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2025-09-16T09:48:11Z)
• HoVLE: Unleashing the Power of Monolithic Vision-Language Models with Holistic Vision-Language Embedding [91.0552157725366]
  本稿では,HoVLEという新しい高性能モノリシックVLMを提案する。 視覚的入力とテキスト入力を共有空間に変換し、LLMはテキストと同じ方法で画像を処理できる。 実験の結果,HoVLEは様々なベンチマークにおいて,主要な構成モデルに近い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-20T18:59:59Z)
• Liquid: Language Models are Scalable and Unified Multi-modal Generators [112.71734051183726]
  Liquidは視覚的理解と生成をシームレスに統合する自動回帰生成パラダイムである。 従来のマルチモーダルな大言語モデル(MLLM)とは異なり、Liquidは単一の大言語モデルを用いてこの統合を実現する。 初めてLiquidは、ビジュアルタスクと言語タスクの統一トレーニングによって必然的にパフォーマンスが低下する、スケーリングの法則を明らかにした。
  論文  参考訳（メタデータ） (2024-12-05T16:48:16Z)
• Push the Limit of Multi-modal Emotion Recognition by Prompting LLMs with Receptive-Field-Aware Attention Weighting [15.908307085973247]
  本稿では,受動的フィールド認識重み付けによる大規模言語モデルの実現により,あるバニラモデルの性能を向上させるフレームワークであるLanternを提案する。 実験では、バニラモデルCORECTとSDTがGPT-4またはLlama-3.1-405Bでランタンに配備された。
  論文  参考訳（メタデータ） (2024-11-26T18:35:24Z)
• BuboGPT: Enabling Visual Grounding in Multi-Modal LLMs [101.50522135049198]
  BuboGPTはマルチモーダルなLLMで、視覚、音声、言語間の相互対話を行うことができる。 1)文中のエンティティを抽出し、画像中の対応するマスクを見つけるSAMに基づく、市販のビジュアルグラウンドモジュール。 実験の結果,BuboGPTは人間との相互作用において,印象的なマルチモーダル理解と視覚的接地能力を実現することがわかった。
  論文  参考訳（メタデータ） (2023-07-17T15:51:47Z)
• mBLIP: Efficient Bootstrapping of Multilingual Vision-LLMs [50.17767479660832]
  視覚言語モデル(Vision-LLMs)は、事前訓練された画像エンコーダを(凍結した)大型言語モデル(LLMs)とポストホック条件LLMsに整合させ、画像入力を理解する。 我々は,マルチ言語LLMを利用した最初のビジョン-LLMであるmBLIPを,コンシューマレベルのハードウェア上で計算的に効率よく提供する。
  論文  参考訳（メタデータ） (2023-07-13T17:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。