論文の概要: Post-Hoc Sparse Coding of Latent Communication Between Vision-Language Model Agents

• arxiv url: http://arxiv.org/abs/2608.10198v1
• Date: Mon, 10 Aug 2026 20:16:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.804912
• Title: Post-Hoc Sparse Coding of Latent Communication Between Vision-Language Model Agents
• Title（参考訳）: 視覚言語モデルエージェント間の潜時通信の時間後スパース符号化
• Abstract要約: Vision Wormhole は、視覚的特徴を他のモデルで使用可能な普遍的な潜在表現に変換することで、このアプローチを実現している。 すべてのメッセージは、その内容に関係なく、同じ大きさの密度のテンソルとして転送される。 この観察は、通信チャネルが実質的に圧縮可能であることを示唆している。
• 参考スコア（独自算出の注目度）: 4.556640962276085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent-space communication allows heterogeneous vision-language model agents to exchange continuous representations without serializing visual and reasoning states into text. Vision Wormhole realizes this approach by translating visual features into a universal latent representation that can be consumed by another model, but every message is transported as a dense tensor of the same size regardless of its content. A fixed-capacity dense tensor therefore need not have a fixed effective information density: some messages may use only a small fraction of the available representational degrees of freedom. This observation suggests that the communication channel may be substantially compressible. We study its redundancy by fitting a post-hoc sparse autoencoder to frozen Vision Wormhole activations and measuring reconstruction, downstream utility, feature reuse, and token-level interventions across nine reasoning benchmarks. Relative to the original float32 transport, a uint16-index/float16-value sparse payload with k=4 active coefficients per token reduces the transmitted bytes by 128x. In a single-run evaluation, the seven-task non-AIME mean accuracy changes from 49.85% to 49.77%. The fitted 4096-element dictionary uses only 50 features, and task-level active sets have a mean pairwise Jaccard similarity of 0.906. These measurements establish strong post-hoc compressibility relative to the original transport, but do not yet isolate the incremental contribution of sparse coding from position selection, reduced precision, low-rank structure, or SAE optimization effects. The results motivate matched-payload comparisons and communication mechanisms whose payload adapts to the information used by each message.
• Abstract（参考訳）: 遅延空間通信により、視覚的および推論的状態をテキストにシリアライズすることなく、異種視覚言語モデルエージェントが連続表現を交換できる。 ヴィジョン・ウォームホールは、視覚的特徴を他のモデルで消費できる普遍的な潜在表現に変換することでこのアプローチを実現するが、全てのメッセージはその内容に関係なく同じ大きさの密度のテンソルとして輸送される。 したがって、固定容量密度テンソルは固定効力のある情報密度を持たない:いくつかのメッセージは利用可能な表現の自由度のごく一部しか使用できない。 この観察は、通信チャネルが実質的に圧縮可能であることを示唆している。 本研究では, 凍結したヴィジュアルワームホールの活性化, 下流ユーティリティ, 機能再利用, トークンレベルの介入を9つの推論ベンチマークで評価し, その冗長性について検討した。 元々のfloat32トランスポートとは対照的に、トークンあたりk=4のアクティブ係数を持つ uint16-index/float16-value スパースペイロードは、送信されたバイトを128倍削減する。 単発評価では、7タスクの非AIME平均精度は49.85%から49.77%に変化している。 4096要素辞書は50個の特徴しか使用せず、タスクレベルのアクティブセットは平均で0.906のジャカード類似性を持つ。 これらの測定は、元の輸送と比較して強い熱後圧縮性を確立するが、位置選択、精度の低下、低ランク構造、SAE最適化効果からスパース符号化の漸進的な寄与をまだ分離していない。 結果は、各メッセージで使用される情報にペイロードが適応する、一致したペイロード比較と通信メカニズムを動機付ける。

関連論文リスト

• ActMap: Single-Pass Uncertainty Quantification from Generation-Time Activation Maps [1.7403133838762448]
  ActMapは、生成時の隠れ状態軌跡を固定された12時間s32times128$の時間統計チャネルに圧縮する表現である。 小型ビジョン変換器としてインスタンス化された軽量分類器は、各マップから推定された正当性確率をミリ秒単位で読み取る。
  論文  参考訳（メタデータ） (2026-09-10T13:04:24Z)
• Efficient Semantic Understanding from Digital Foveation [5.20256250089509]
  生物の視覚に触発されて,デジタル・ファベージド・インセプションによって意味理解がより効率的に達成できるかどうかを考察する。 本稿では,サリエンシ駆動型固定選択,高分解能葉観測,低分解能文脈情報,セマンティック集積,適応計算を組み合わせた軽量アクティブビジョンパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-09-03T16:56:12Z)
• Interpreting Language Model Hidden States at Scale [4.6424858468806915]
  OmniLenは、残差ストリーム、アテンション、トランスレータなど、任意のモデル幅のアクティベーションに単一レンズファミリを適用し、2つの独立したスケーリング技術を組み合わせる。 これらのセーブにより、LLaMA-3.3-70B用の482個のレンズが密集し、同じ深さで残留ストリーム設計のカバーを6倍にすることができる。
  論文  参考訳（メタデータ） (2026-08-10T21:49:45Z)
• Messages, Not Tokens: Grounded Coresets for Faithful VLM Compression [34.18938906209582]
  現代の視覚言語モデル(VLM)は高解像度画像を視覚トークンの長いシーケンスに変換する。 我々は,クエリ・グラウンド,外観,座標認識のエビデンスに対するサポートを共同で割り当てる,トレーニングフリーのGrounded Message Coreset Pruning(GMC)を紹介した。 我々は、GMC-H2がQwen2.5-VL-7B上で97.78%の完全相対平均値を80.2%減少させ、GMC-L16が100.36%に達することを示した。
  論文  参考訳（メタデータ） (2026-08-03T12:23:06Z)
• Towards Compact Sign Language Translation: Frame Rate and Model Size Trade-offs [0.5371337604556311]
  手話翻訳(SLT)は、手話動画を音声テキストに変換し、聴覚と聴覚のコミュニティ間のコミュニケーションをブリッジする。 現在の光沢のないアプローチは、大規模なエンコーダデコーダモデルに依存し、デプロイメントを制限している。 本稿では,MMPose skeletal pose extract と1つの線形射影をT5小形に結合したコンパクトな77Mパラメータパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-10T14:15:38Z)
• Latent Communication Between Language Model Agents: Channels, Alignment, and the Limits of Text [0.4230349220081444]
  複雑な概念を伝達する必要がある場合,大言語モデルはテキストの表現可能性を超えた世界モデルを持つ可能性があることを示す。 本稿では,3つの通信チャネルを構築し,概念識別情報をそれぞれ測定する。 潜在チャネルは、言語横断的な概念タスクでテキストチャネルと一致するが、それを超えることは決してない。
  論文  参考訳（メタデータ） (2026-05-06T13:12:00Z)
• Compute Optimal Tokenization [79.3815358070537]
  圧縮速度によって制御されるトークンの情報粒度がスケーリングの傾向にどのように影響するかを検討する。 所望の圧縮速度の設定を可能にする50Mから7Bパラメータまで,988の潜在トークン化モデル(BLT)を訓練する。 実験の結果, モデルパラメータは, 一般に認識されるトークンではなく, バイト単位のデータサイズに比例してスケールすることがわかった。
  論文  参考訳（メタデータ） (2026-05-02T01:53:22Z)
• WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
  WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。 WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。 NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
  論文  参考訳（メタデータ） (2026-04-20T01:29:56Z)
• Direct Semantic Communication Between Large Language Models via Vector Translation [3.81908263930559]
  大規模言語モデル(LLM)は、メッセージをプレーントークンとして渡すことで、最も遅延したセマンティクスを破棄する。 我々は、直接意味交換を可能にする学習されたマッピングを用いて、ベクトル変換を介して潜時ブリッジを形成する。
  論文  参考訳（メタデータ） (2025-11-06T00:43:29Z)
• Rate-Distortion-Perception Theory for Semantic Communication [73.04341519955223]
  シンボル歪みおよび意味知覚制約下での意味コミュニケーションの達成可能なデータレートについて検討する。 我々は、受信者が特定の歪みや知覚の制約を満たす意味情報ソースを直接推測できるケースが存在することを観察する。
  論文  参考訳（メタデータ） (2023-12-09T02:04:32Z)
• Telling Left from Right: Identifying Geometry-Aware Semantic Correspondence [80.6840060272386]
  本稿では,意味的対応のための幾何学的認識の重要性を明らかにする。 この情報を活用することで,意味的対応性能が著しく向上することを示す。 提案手法は,SPair-71kデータセット上で,65.4(ゼロショット)と85.6(教師)のPCK@0.10スコアを達成する。
  論文  参考訳（メタデータ） (2023-11-28T18:45:13Z)
• UATVR: Uncertainty-Adaptive Text-Video Retrieval [90.8952122146241]
  一般的なプラクティスは、テキストとビデオのペアを同じ埋め込みスペースに転送し、特定のエンティティとのクロスモーダルなインタラクションを構築することである。 UATVRと呼ばれる不確実性言語によるテキスト・ビデオ検索手法を提案し、各ルックアップを分布マッチング手順としてモデル化する。
  論文  参考訳（メタデータ） (2023-01-16T08:43:17Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。