論文の概要: ChatImage: Navigating Long-Form LLM Answers through Interactive Images

• arxiv url: http://arxiv.org/abs/2607.05290v1
• Date: Mon, 06 Jul 2026 16:30:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.240862
• Title: ChatImage: Navigating Long-Form LLM Answers through Interactive Images
• Title（参考訳）: ChatImage: 対話型画像による長期LLM回答のナビゲート
• Abstract要約: 大規模言語モデル(LLM)は複雑なクエリに対する詳細な回答を生成することができるが、これらの答えは典型的には密度の高い線形テキストとして表現される。 本稿では,LLMの長文回答をインタラクティブな視覚画像に変換するChatImageを提案する。
• 参考スコア（独自算出の注目度）: 40.09535240509679
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) can produce detailed answers to complex queries, but these answers are typically presented as dense linear text, which makes fine-grained inspection, navigation, and return visits difficult. We present ChatImage, a system that converts long-form LLM answers into interactive visual images. Given a textual answer, ChatImage first normalizes its content into structured visual modules, plans a visual layout, and renders a coherent image. It then applies a second grounding pass to the rendered image with vision grounding models such as LocateAnything and MiMo-Vision, with optional SAM-style mask refinement, to identify the visible regions that should support interaction. From these grounded regions, ChatImage overlays transparent clickable hotspots on the image. Each hotspot opens a detail panel and a region-scoped follow-up thread, allowing the user to inspect and query a specific part of the answer without re-reading the full response. Instead of treating planned coordinates as the final interaction geometry, ChatImage uses them as priors and grounds the interaction targets after rendering, which improves consistency between visual content and clickable regions. We release a reference implementation and introduce a 30-question benchmark covering infographic, map, and scene-based answer formats. Evaluation with configured external models reports interaction-loop completion, a strict visual-alignment gate, and a SAM-based mask-completeness diagnostic.
• Abstract（参考訳）: LLM(Large Language Models)は複雑なクエリに対する詳細な回答を生成することができるが、これらの回答は一般に密度の高い線形テキストとして表示され、きめ細かい検査、ナビゲーション、返却が困難になる。 本稿では,LLMの長文回答をインタラクティブな視覚画像に変換するChatImageを提案する。 テキストによる回答が与えられたChatImageは、まずコンテンツを構造化されたビジュアルモジュールに正規化し、ビジュアルレイアウトを計画し、一貫性のある画像をレンダリングする。 次に、レンダリングされた画像に第2の接地パスをLocateAnythingやMiMo-Visionのような視覚的接地モデルで適用し、オプションのSAMスタイルのマスクリファインメントを使用して、インタラクションをサポートするべき可視領域を特定する。 これらの接地された領域から、ChatImageは画像上に透明なクリック可能なホットスポットをオーバーレイする。 各ホットスポットはディテールパネルとリージョンスコープのフォローアップスレッドを開き、全応答を読み直すことなく、回答の特定の部分を検査してクエリすることができる。 計画された座標を最終的な相互作用幾何学として扱う代わりに、ChatImageはそれらを前もって使用し、レンダリング後のインタラクションターゲットを根拠にすることで、視覚的コンテンツとクリック可能な領域間の一貫性を改善する。 参照実装を公開し、インフォグラフィック、マップ、シーンベースの回答フォーマットをカバーする30項目のベンチマークを導入する。 構成された外部モデルによる評価では、相互作用ループ完了、厳密な視覚調整ゲート、SAMベースのマスク完全性診断が報告されている。

関連論文リスト

• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Augmenting a Large Language Model with a Combination of Text and Visual Data for Conversational Visualization of Global Geospatial Data [51.57559025799189]
  本稿では,Large Language Model (LLM) をテキストと視覚データの組み合わせで拡張する手法を提案する。 可視化とデータセットのテキスト記述と視覚化のスナップショットを組み合わせることでこの問題に対処する。
  論文  参考訳（メタデータ） (2025-01-16T13:16:37Z)
• RSRefSeg: Referring Remote Sensing Image Segmentation with Foundation Models [24.67117013862316]
  リモートセンシング画像のセグメンテーションの参照は、きめ細かい視覚的理解の実現に不可欠である。 本稿では,参照リモートセンシング画像分割基礎モデルRSRefSegを紹介する。 RRSIS-Dデータセットの実験結果は、RSRefSegが既存の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-01-12T13:22:35Z)
• GeoChat: Grounded Large Vision-Language Model for Remote Sensing [65.78360056991247]
  提案するGeoChatは,高解像度RS画像を用いたマルチタスク対話機能を備えた,世界初の汎用リモートセンシング大型ビジョンランゲージモデル(VLM)である。 具体的には、GeoChatは画像レベルのクエリに応答できるが、リージョン固有の対話を保持するためにリージョン入力を受け付けている。 GeoChatは、画像や領域キャプション、視覚的質問応答、シーン分類、視覚的に接地された会話、参照検出など、様々なRSタスクに対して、堅牢なゼロショット性能を示す。
  論文  参考訳（メタデータ） (2023-11-24T18:59:10Z)
• GLaMM: Pixel Grounding Large Multimodal Model [57.91763410032292]
  本研究では,対応するオブジェクトセグメンテーションマスクとシームレスに相互作用する自然言語応答を生成可能な最初のモデルであるGrounding LMM(GLaMM)を提案する。 GLaMMはテキストとオプションの視覚的プロンプト(関心領域)の両方を入力として受け入れるほど柔軟である。 提案したGCGタスクは,大規模に自然界に密着した概念を必要とする。
  論文  参考訳（メタデータ） (2023-11-06T18:59:57Z)
• Locate Then Generate: Bridging Vision and Language with Bounding Box for Scene-Text VQA [15.74007067413724]
  STVQA(Scene Text Visual Question Answering)のための新しいフレームワークを提案する。 質問応答には画像中のシーンテキストを読む必要がある。
  論文  参考訳（メタデータ） (2023-04-04T07:46:40Z)
• Multimodal Incremental Transformer with Visual Grounding for Visual Dialogue Generation [25.57530524167637]
  視覚的対話は、視覚環境を理解することに基づいて、一連の一貫性のある質問に答える必要がある。 ビジュアルグラウンドティングは、テキストエンティティによってガイドされたイメージ内の関連オブジェクトを明示的に特定することを目的としている。 マルチモーダルインクリメンタルトランスフォーマーは、対話の順序に応じてステップごとに、多ターン対話履歴と視覚シーンのステップとをエンコードし、コンテキスト的かつ視覚的に一貫性のある応答を生成する。
  論文  参考訳（メタデータ） (2021-09-17T11:39:29Z)
• Text-to-Image Generation Grounded by Fine-Grained User Attention [62.94737811887098]
  Localized Narrativesは、マウストレースと組み合わせた画像の詳細な自然言語記述を備えたデータセットである。 本稿では、このグラウンド化を利用して画像を生成するシーケンシャルモデルであるTReCSを提案する。
  論文  参考訳（メタデータ） (2020-11-07T13:23:31Z)
• AttnGrounder: Talking to Cars with Attention [6.09170287691728]
  視覚的接地作業のための一段階から一段階の訓練可能なモデルを提案する。 Visual Groundingは、与えられた自然言語のテキストクエリに基づいて、特定のオブジェクトをイメージにローカライズすることを目的としている。 我々はTalk2Carデータセット上でAttnGrounderを評価し,既存の手法よりも3.26%改善したことを示す。
  論文  参考訳（メタデータ） (2020-09-11T23:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。