論文の概要: A Multimodal Reasoning Typology for Grounding Chart-Image Coherence in Science Communication
- arxiv url: http://arxiv.org/abs/2607.05222v1
- Date: Mon, 06 Jul 2026 15:37:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.224921
- Title: A Multimodal Reasoning Typology for Grounding Chart-Image Coherence in Science Communication
- Title（参考訳）: 理科コミュニケーションにおけるグラウンディングチャート画像コヒーレンスのためのマルチモーダル推論型タイポロジー
- Abstract要約: グラフとその付随する画像とそれらをリンクするキャプションはマルチモーダル単位を形成し、それを読むのに必要な推論作業は体系的に変化する、と我々は主張する。
我々は,R1からR5までの推論ギャップの類型論を開発し,グラフ,画像,テキストが科学的主張を共同で伝達する方法を特徴付ける。
- 参考スコア（独自算出の注目度）: 0.4209830307113407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Charts and images appear together throughout scientific publications, yet most computational work does not characterize their coherence. We argue that a chart, its accompanying image, and the caption that links them form a multimodal unit, and that the inferential work required to read it varies systematically. To capture this variation, we develop a typology of reasoning gaps, R1 through R5, that characterizes how chart, image, and text jointly convey a scientific claim, and the interpretive work this demands of the reader. Some pairs restate the same data, while in other pairs, charts are used to quantify a structure the image localizes, project image content onto an external variable, audit an image-based claim, or jointly construct a frame that neither panel can establish alone. The typology is anchored in the grounding theory of communication and was derived bottom-up, with a neuroscience expert, from a corpus of 79 traumatic brain injury papers and 32 chart-image pairs. Crucially, the levels provide a systematic mechanism for identifying where grounding succeeds or breaks down, rather than leaving it to subjective inference. We show this in a study in which a domain expert and three non-experts judge vision-language model (VLM) descriptions of 25 pairs: the level predicts where their judgments align and where they diverge, isolating the points at which contextual knowledge, not the figure, carries coherence. This typology thus offers figure designers a systematic way to balance text against chart-image pairs, bridging the expert-to-non-expert divide in reading a scientific takeaway.
- Abstract（参考訳）: グラフと画像は科学的な出版物を通して一緒に現れるが、ほとんどの計算研究はそれらの一貫性を特徴づけていない。
グラフとその付随する画像とそれらをリンクするキャプションはマルチモーダル単位を形成し、それを読むのに必要な推論作業は体系的に変化する、と我々は主張する。
この変化を捉えるため、我々はR1からR5までの推論ギャップのタイプを考案し、グラフ、画像、テキストが科学的クレームをいかに共同で伝達するかを特徴付けるとともに、読者の要求を解釈する作業を行う。
いくつかのペアは同じデータを復元するが、他のペアでは、図はイメージがローカライズする構造を定量化したり、画像の内容を外部変数に投影したり、画像ベースのクレームを監査したり、どちらのパネルも単独で確立できないフレームを共同構築する。
神経科学の専門家によるボトムアップは、79の外傷性脳損傷論文と32のチャートイメージペアからなるコーパスから導かれた。
重要なことに、このレベルは、主観的推論に任せるのではなく、土台が成功するか、壊れるかを特定するための体系的なメカニズムを提供する。
ドメインエキスパートと3人の非専門家が25対の視覚言語モデル(VLM)を記述し、そのレベルが判断の整合点と発散点を予測し、図ではなく文脈的知識がコヒーレンスを持つ点を分離する。
このタイポロジーは、図面デザイナーに、図面と図面のペアのバランスをとるための体系的な方法を提供する。
関連論文リスト
- Can AI Draw Science? A Benchmark for Evaluating Scientific Figure Generation by Text-to-Image and Multimodal Models [0.0]
SciDraw-Benchは、8つの図形タイプと10の分野にまたがる32の構造化された科学フィギュア生成タスクのベンチマークである。
各タスクは自然言語プロンプトと、必要なラベル、関係、コンポーネント、規約、負の制約のマシンチェック可能な仕様とをペアリングする。
ドメイン固有システムであるSciDraw AIを汎用のテキスト・ツー・イメージモデルに対して評価し、コード・ツー・フィギュア・ベースラインを計画的拡張として概説する。
論文 参考訳（メタデータ） (2026-06-24T14:21:01Z) - Semantic-Structural Alignment for Generative Pictorial Charts [59.45629259524998]
画像チャートの自動合成のための生成フレームワークを提案する。
2つの並列外部制御信号によって誘導される二重条件生成タスクとしてこの問題をモデル化する。
本手法は,芸術的に魅力的で構造的に整合性のある図表を生成する。
論文 参考訳（メタデータ） (2026-05-05T05:20:46Z) - Multi-Modal Framing Analysis of News [41.39617209053842]
大規模(ビジョン-)言語モデルを用いて,マルチモーダル・マルチラベルフレーミング分析を大規模に行う手法を提案する。
従来の定性的な作業で発見された問題固有のフレーム分析を用いて、トピックの高度にパーティショナリなフレーミングを識別する。
本稿では,ニュース中のテキストと画像の両方のスケーラブルな統合的フレーミング分析を行う方法を示し,メディアバイアスを理解するためのより完全な画像を提供する。
論文 参考訳（メタデータ） (2025-03-26T19:51:33Z) - Compositional Entailment Learning for Hyperbolic Vision-Language Models [54.41927525264365]
画像とテキストのペアを超えて、双曲的埋め込みの自然的階層性を完全に活用する方法を示す。
双曲型視覚言語モデルのための構成的包摂学習を提案する。
数百万の画像テキストペアで訓練された双曲型視覚言語モデルに対する経験的評価は、提案手法が従来のユークリッドCLIP学習より優れていることを示している。
論文 参考訳（メタデータ） (2024-10-09T14:12:50Z) - For a semiotic AI: Bridging computer vision and visual semiotics for computational observation of large scale facial image archives [3.418398936676879]
この研究は、ソーシャルメディアプラットフォームにおける画像の社会的・文化的影響を大規模に調査するためのフレームワークであるFRESCOを提示する。
FRESCOは、最新のコンピュータビジョン技術を用いて、画像を数値変数と分類変数に分解する。
このフレームワークは、線や色のような基本的な視覚的特徴を含むプラスティックレベル、特定の実体や概念を表す図形レベル、特にオブザーバーとオブザーバーの視点を構築することに焦点を当てた啓示レベルという3つのレベルにわたって画像を分析する。
論文 参考訳（メタデータ） (2024-07-03T16:57:38Z) - Composition and Deformance: Measuring Imageability with a Text-to-Image
Model [8.008504325316327]
生成した画像を用いて、単一英語の単語と接続されたテキストの可視性を測定する手法を提案する。
提案手法と個人単語の人的判断との間には高い相関関係が認められた。
本研究は,テキスト・ツー・イメージ・モデルにおけるモデルトレーニングの可能性と,構成性の研究に与える影響について論じる。
論文 参考訳（メタデータ） (2023-06-05T18:22:23Z) - Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for
Improved Vision-Language Compositionality [50.48859793121308]
対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。
近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
論文 参考訳（メタデータ） (2023-05-23T08:28:38Z) - Two-stream Hierarchical Similarity Reasoning for Image-text Matching [66.43071159630006]
文脈情報を自動的に抽出する階層的類似性推論モジュールを提案する。
従来のアプローチでは、シングルストリームの類似性アライメントを学習することしか検討されていなかった。
イメージ・ツー・テキスト・レベルの類似性計算とテキスト・ツー・テキスト・レベルの類似性計算に画像・テキストマッチングを分解する2ストリームアーキテクチャを開発した。
論文 参考訳（メタデータ） (2022-03-10T12:56:10Z) - Structural-analogy from a Single Image Pair [118.61885732829117]
本稿では,1対の画像A,Bのみを用いて,ニューラルネットワークによる画像構造理解能力について検討する。
我々は、B の外観とスタイルを保持するが、A に対応する構造的配置を持つ画像を生成する。
提案手法は,画像AとBのみを利用した条件生成タスクにおいて,高品質な画像を生成するために利用できる。
論文 参考訳（メタデータ） (2020-04-05T14:51:10Z) - Grounded and Controllable Image Completion by Incorporating Lexical
Semantics [111.47374576372813]
Lexical Semantic Image Completion (LSIC)は、芸術、デザイン、遺産保護に潜在的な応用をもたらす可能性がある。
視覚的文脈と語彙的文脈の両方に忠実な結果を生成することを提唱する。
LSICの大きな課題の1つは、ビジュアル・セマンティック・コンテキストの構造をモデル化し整合させることである。
論文 参考訳（メタデータ） (2020-02-29T16:54:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。