論文の概要: Free the Language Model From the Vision Encoder: Semantic Serialization as a Perception Interface for Small Language Models

• arxiv url: http://arxiv.org/abs/2609.29601v1
• Date: Sat, 29 Aug 2026 05:24:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.083159
• Title: Free the Language Model From the Vision Encoder: Semantic Serialization as a Perception Interface for Small Language Models
• Title（参考訳）: 視覚エンコーダから言語モデルを解放する:小さな言語モデルに対する知覚インタフェースとしてのセマンティックシリアライゼーション
• Abstract要約: 本研究では,視覚が言語モデルに入らない場面質問応答インタフェースについて検討する。 低ランク適応で微調整されたVLMはゼロショットシステムに取って代わるが、同様に教師付きテキストリーダーを繋ぐだけである。
• 参考スコア（独自算出の注目度）: 11.206758778146282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: End-to-end vision-language models (VLMs) bind visual competence to the scale of their language model: as the language model shrinks, perception and reasoning degrade together. We study an embodied scene question-answering (QA) interface in which vision never enters the language model. A frozen perception stack detects and ranges objects; a deterministic semantic serializer compiles the perceived state, errors included, into decision-aligned text; an unmodified text-only large language model (LLM) answers. On a visible-scope-matched, occlusion-audited campus-robot benchmark, under a prospectively frozen criterion, the serialized interface, using detectors fine-tuned in-domain within each fold, outperforms a zero-shot VLM whose language model has the same 7B scale (0.7892 vs 0.7462), with a larger margin at 3B (0.7673 vs 0.6913). Preregistered decoupling experiments show the gain survives paraphrase, attributing it to decision-aligned computation rather than answer-string leakage, while novel judgment vocabularies bound its scope. The advantage grows as the reader shrinks to 1.5B and reverses at 0.5B, and a ground-truth oracle locates the reader-capability floor. Under matched task supervision the interfaces converge: a VLM fine-tuned with low-rank adaptation (LoRA) overtakes the zero-shot system but only ties an equally supervised text reader (0.8441 vs 0.8396, no statistically resolved difference), and both routes remain perception-bound. Reported perception parameters are comparable to those of the VLM's vision tower, and total compute is not smaller.
• Abstract（参考訳）: エンド・ツー・エンドの視覚言語モデル(VLM)は、言語モデルの縮小、知覚、推論が共に低下するにつれて、視覚能力と言語モデルの規模を結びつける。 本研究では,視覚が言語モデルに決して入らない,具体的シーン質問応答(QA)インタフェースについて検討する。 凍結された知覚スタックはオブジェクトを検出し、範囲を拡大する;決定論的セマンティックシリアライザは認識された状態、エラーを含む、決定整合したテキストにコンパイルする;修正されていないテキストのみの大規模言語モデル(LLM)の回答。 可視スコープにマッチしたオクルージョン監査されたキャンパスロボットのベンチマークでは、予想通り凍結された基準の下で、シリアライズされたインタフェースは、各折り畳みのドメイン内で微調整された検出器を使用し、言語モデルが同じ7Bスケール(0.7892対0.7462)で、マージンが3B(0.7673対0.6913)であるゼロショットVLMより優れている。 事前登録されたデカップリング実験は、解答文字列の漏れではなく、決定整合した計算に起因して、利益がパラフレーズを生き残ることを示す一方、新しい判断語彙はその範囲に縛られている。 読み手が1.5Bに縮まり0.5Bに逆転するにつれて利点が増し、接地軌道のオラクルが読み手対応フロアを配置する。 低ランク適応(LoRA)で微調整されたVLMはゼロショットシステムに取って代わるが、同じ監督されたテキストリーダー(0.8441対0.8396、統計的に解決された差はない)のみを結び、どちらの経路も認識に拘束される。 報告された知覚パラメータはVLMの視覚塔と同等であり、総計算量は小さくない。

関連論文リスト

• Portable Semantics, Private Dialects: Reuse and Negative Transfer in Latent Communication Between Language-Model Cells [0.0]
  共有ゲノム言語モデル社会では、可視性に制限のあるエビデンスでは、再利用可能な値インデックス付き潜在パケットインタフェースが好まれる。 本研究では、独立に訓練された社会が、厳密なゼロショット転送が失敗する1つのパケット言語を共有しているかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-10T10:53:47Z)
• The Visual Insensitivity Gap: Diagnosing When Vision-Language Models Fail to Use Visual Evidence [1.7844382164707184]
  我々はこの現象を視覚不感ギャップと呼び、サンプルごとの視覚感度指数(VSI)で定量化する。 この仮定は、6つのVLMと3つの知覚的ベンチマークで40%～97%のサンプルで失敗することを示す。
  論文  参考訳（メタデータ） (2026-09-01T08:01:57Z)
• WALDO: One-Shot Exemplar-Conditioned Object Detection in Cluttered Scenes [0.0]
  WALDOは3.4Mのトレーニング可能なパラメータを持つワンショットの例証および言語条件付き検出ヘッドである。 トレーニング可能なパラメータが3.4Mのワンショット例と言語条件付き検出ヘッドであるWALDOを提案する。
  論文  参考訳（メタデータ） (2026-08-28T11:33:46Z)
• Do Vision-Language Models Agree on the Affective Qualities of Shape? A Cross-Model Audit for Generative Design Interfaces [3.284045052514267]
  ジェネレーティブデザインインターフェースは、ユーザが"よりエレガント"や"よりミニマリスト"といった概念で出力をコントロールできるセマンティックコントロールをますます公開します。 現実的な疑問は、最先端のビジョン言語モデルが、同じ概念の観点で一貫してオブジェクトを表現するかどうかである。 感性形容詞対に沿って非テクスチャな3Dオブジェクトをランク付けすることで、6つのVLMを検査する。
  論文  参考訳（メタデータ） (2026-08-26T14:49:37Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Can Machines Really See Objects in Images? A Study Based on Syntactic Distance and Visual Self-Referential Instances [53.65561607407989]
  そのような局所的な手がかりが区別の安定な基盤を提供しない場合、モデルが依然として正しく分類できるかどうかを問う。 ResNetとVision Transformersの実験では、一貫した位相遷移現象が明らかになった。 結果は、汎用インテリジェンスは、既存の言語を再利用するのではなく、新しい言語を作成する必要があることを示唆している。
  論文  参考訳（メタデータ） (2026-06-28T14:27:40Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• FADE: Few-shot/zero-shot Anomaly Detection Engine using Large Vision-Language Model [0.9226774742769024]
  製造業界における品質検査には,少ないショット・ゼロショット異常検出が重要である。 視覚言語CLIPモデルを利用したFew-shot/zero-shot Anomaly Engine Detection (FADE)を提案する。 FADEは、ゼロショットで89.6%(91.5%)、ノーマルショットで95.4%(97.5%)の異常セグメンテーションにおいて、他の最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-08-31T23:05:56Z)
• ChatZero:Zero-shot Cross-Lingual Dialogue Generation via Pseudo-Target Language [53.8622516025736]
  そこで本研究では,言語間符号切替方式に基づく,エンドツーエンドのゼロショット対話生成モデルChatZeroを提案する。 多言語DailyDialogとDSTC7-AVSDデータセットの実験は、ChatZeroが元のパフォーマンスの90%以上を達成することを示した。
  論文  参考訳（メタデータ） (2024-08-16T13:11:53Z)
• DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature [143.5381108333212]
  大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。 次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。 我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
  論文  参考訳（メタデータ） (2023-01-26T18:44:06Z)
• Zero-Shot Temporal Action Detection via Vision-Language Prompting [134.26292288193298]
  視覚言語プロンプト(STALE)を用いた新しいゼロショット時間行動検出モデルを提案する。 我々のモデルは最先端の代替品を著しく上回っている。 我々のモデルは、近年の強力な競合相手よりも監督的TADにおいて優れた結果をもたらす。
  論文  参考訳（メタデータ） (2022-07-17T13:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。