論文の概要: The Describe-Then-Generate Bottleneck: How VLM Descriptions Alter Image Generation Outcomes

• arxiv url: http://arxiv.org/abs/2509.18179v1
• Date: Thu, 18 Sep 2025 01:48:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.460923
• Title: The Describe-Then-Generate Bottleneck: How VLM Descriptions Alter Image Generation Outcomes
• Title（参考訳）: The Describe-Then-Generate Bottleneck: VLMによる画像生成結果の表示方法
• Authors: Sai Varun Kodathala, Rakesh Vunnam,
• Abstract要約: 本稿では,自然言語が視覚情報の中間表現として機能する記述列生成ボトルネックの実証分析を行う。 評価の結果,99.3%のサンプルが知覚的劣化を示し,91.5%が構造的情報損失を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the increasing integration of multimodal AI systems in creative workflows, understanding information loss in vision-language-vision pipelines has become important for evaluating system limitations. However, the degradation that occurs when visual content passes through textual intermediation remains poorly quantified. In this work, we provide empirical analysis of the describe-then-generate bottleneck, where natural language serves as an intermediate representation for visual information. We generated 150 image pairs through the describe-then-generate pipeline and applied existing metrics (LPIPS, SSIM, and color distance) to measure information preservation across perceptual, structural, and chromatic dimensions. Our evaluation reveals that 99.3% of samples exhibit substantial perceptual degradation and 91.5% demonstrate significant structural information loss, providing empirical evidence that the describe-then-generate bottleneck represents a measurable and consistent limitation in contemporary multimodal systems.
• Abstract（参考訳）: 創造的なワークフローにおけるマルチモーダルAIシステムの統合の増加に伴い、ビジョン言語ビジョンパイプラインにおける情報損失の理解は、システムの制限を評価する上で重要になっている。 しかし、視覚的コンテンツがテキスト修復を経た時に発生する劣化は、まだ定量化されていない。 本研究では,自然言語が視覚情報の中間表現として機能する記述列生成ボトルネックの実証分析を行う。 我々は,記述列生成パイプラインを通じて150枚の画像ペアを生成し,既存の計測値(LPIPS, SSIM, 色距離)を適用し,知覚, 構造, 色調の両面にわたる情報保存を計測した。 評価の結果, 99.3%のサンプルが実質的な知覚的劣化を示し, 91.5%が重要な構造的情報損失を示し, 現代のマルチモーダルシステムにおいて, 説明列生成ボトルネックが測定可能かつ一貫した限界を示すという実証的証拠が得られた。

関連論文リスト

• How Vision Becomes Language: A Layer-wise Information-Theoretic Analysis of Multimodal Reasoning [3.720343746691839]
  視覚的一様情報は早期にピークを迎え、深度とともに減衰し、後期層では言語的一様情報が急上昇し、相互の相乗効果は2%以下であることを示す。 これらの結果から,マルチモーダルトランスフォーマーにおける視覚の言語化に関する情報理論的,因果的考察が得られた。
  論文  参考訳（メタデータ） (2026-02-17T13:49:49Z)
• Deep Learning for Contextualized NetFlow-Based Network Intrusion Detection: Methods, Data, Evaluation and Deployment [5.402853794565817]
  本稿では,フローベース侵入検知のための文脈認識深層学習に関する最近の研究を合成する。 既存の手法を時間的文脈,グラフあるいは関係文脈,マルチモーダルコンテキスト,マルチコンセンサスコンテキストを含む4次元分類に分類する。 我々は、時間的リーク、データ分割、データセット設計上の欠陥、限られたデータセットの多様性、弱いデータセットの一般化など、報告された結果に影響を及ぼす一般的な障害モードをレビューする。
  論文  参考訳（メタデータ） (2026-02-05T12:25:18Z)
• Understanding Degradation with Vision Language Model [56.09241449206817]
  視覚的劣化を理解することは、コンピュータビジョンにおいて重要な問題であるが、難しい問題である。 本稿では,教師付き微調整と強化学習を併用したマルチモーダル・チェーン・オブ・ソート・モデルであるDU-VLMを紹介する。 また,110,000個のクリーン劣化ペアと接地された物理アノテーションからなる大規模データセットである textbfDU-110k も導入した。
  論文  参考訳（メタデータ） (2026-02-04T13:51:15Z)
• INSIGHT: An Interpretable Neural Vision-Language Framework for Reasoning of Generative Artifacts [0.0]
  現在の法医学システムは、現実世界の条件下で急速に低下している。 ほとんどの検出器は不透明物として機能し、なぜ画像が合成物としてフラグ付けされるのかについての知見はほとんど得られない。 本稿では,AI生成画像のロバスト検出と透過的説明のための統合フレームワークであるINSIGHTを紹介する。
  論文  参考訳（メタデータ） (2025-11-27T11:43:50Z)
• Causal Tracing of Object Representations in Large Vision Language Models: Mechanistic Interpretability and Hallucination Mitigation [27.62798534410331]
  本稿では,視覚的物体知覚に対する因果的影響を系統的に定量化する,細粒度クロスモーダル因果追跡(FCCT)フレームワークを提案する。 FCCTは、視覚およびテキストトークンの全範囲、MHSA(Multi-head Self-attention)、FFN(Feed-forward Network)、隠された状態を含む3つのコアモデルコンポーネントを詳細に分析する。 我々の分析は、中間層における最後のトークンのMHSAが、クロスモーダル情報を集約する上で重要な役割を担い、FFNは3段階の階層的な保存の進行を示すことを初めて示すものである。
  論文  参考訳（メタデータ） (2025-11-08T08:37:26Z)
• Open Multimodal Retrieval-Augmented Factual Image Generation [86.34546873830152]
  Factual Image Generation(FIG)のためのエージェント型オープンマルチモーダル検索拡張フレームワークORIGを紹介する。 ORIGは、Webから反復的にマルチモーダルなエビデンスを検索してフィルタリングし、洗練された知識をリッチなプロンプトにインクリメンタルに統合し、生成をガイドする。 実験により、ORIGは強いベースラインよりも事実整合性と全体的な画像品質を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-10-26T04:13:31Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• SeFENet: Robust Deep Homography Estimation via Semantic-Driven Feature Enhancement [14.1936051404987]
  厳しい環境で撮影された画像は、しばしばぼやけた細部、コントラストの低減、色歪みを示す。 本稿では,SeFENetと呼ばれる,ロバストなホモグラフィ推定のための意味駆動型機能拡張ネットワークを提案する。 SeFENetはSOTA法を著しく上回り,大規模データセット上での点一致誤差を少なくとも41%低減することを示した。
  論文  参考訳（メタデータ） (2024-12-09T10:04:14Z)
• SSP-IR: Semantic and Structure Priors for Diffusion-based Realistic Image Restoration [20.873676111265656]
  SSP-IRは、低画質の画像からセマンティックと構造をフル活用することを目的としている。 提案手法は,合成および実世界のデータセットにおいて,他の最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2024-07-04T04:55:14Z)
• What Do VLMs NOTICE? A Mechanistic Interpretability Pipeline for Gaussian-Noise-free Text-Image Corruption and Evaluation [16.033361754660316]
  視覚言語モデル(VLM)における可読性評価パイプライン SVO-Probes、MIT-States、Facial Expression Recognitionデータセットに関する実験により、VLM意思決定における重要な洞察が明らかになった。 この研究は、より透明で解釈可能なマルチモーダルシステムへの道を開いた。
  論文  参考訳（メタデータ） (2024-06-24T05:13:19Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
  本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。 本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T02:02:34Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。