論文の概要: Moving Pictures of Thought: Extracting Visual Knowledge in Charles S. Peirce's Manuscripts with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2511.13378v1
• Date: Mon, 17 Nov 2025 13:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:25.279279
• Title: Moving Pictures of Thought: Extracting Visual Knowledge in Charles S. Peirce's Manuscripts with Vision-Language Models
• Title（参考訳）: 思考の動画像:チャールズ・S・パースによる視覚言語モデルによる視覚知識の抽出
• Authors: Carlo Teo Pedretti, Davide Picca, Dario Rodighiero,
• Abstract要約: ダイアグラムは、多くの分野において不可欠だが未調査のツールである。 彼らの象徴的な形態は、視覚研究、メディカル分析、テキストベースのデジタルキャプションに障害をもたらす。 ビジュアル言語モデル(VLM)は、そのようなハイブリッドページをコンテキスト内で識別し、解釈するのに役立ちます。
• 参考スコア（独自算出の注目度）: 0.5352699766206808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diagrams are crucial yet underexplored tools in many disciplines, demonstrating the close connection between visual representation and scholarly reasoning. However, their iconic form poses obstacles to visual studies, intermedial analysis, and text-based digital workflows. In particular, Charles S. Peirce consistently advocated the use of diagrams as essential for reasoning and explanation. His manuscripts, often combining textual content with complex visual artifacts, provide a challenging case for studying documents involving heterogeneous materials. In this preliminary study, we investigate whether Visual Language Models (VLMs) can effectively help us identify and interpret such hybrid pages in context. First, we propose a workflow that (i) segments manuscript page layouts, (ii) reconnects each segment to IIIF-compliant annotations, and (iii) submits fragments containing diagrams to a VLM. In addition, by adopting Peirce's semiotic framework, we designed prompts to extract key knowledge about diagrams and produce concise captions. Finally, we integrated these captions into knowledge graphs, enabling structured representations of diagrammatic content within composite sources.
• Abstract（参考訳）: ダイアグラムは、視覚的表現と学術的推論との密接な関係を実証し、多くの分野において重要で未発見の道具である。 しかし、その象徴的な形態は、視覚研究、メディカル分析、テキストベースのデジタルワークフローに障害をもたらす。 特に、チャールズ・S・パース(Charles S. Peirce)は、図形の使用を推論と説明に欠かせないものとして一貫して提唱した。 彼の写本は、しばしばテキストの内容と複雑な視覚的アーティファクトを組み合わせたもので、異質な資料を含む文書を研究する上で難しい事例となっている。 本稿では,視覚言語モデル(VLM)が,このようなハイブリッドなページを文脈において効果的に識別し,解釈するのに役立つかどうかを考察する。 まず、ワークフローを提案する。 (i) 原稿ページレイアウト、 (ii)各セグメントをIIIF準拠アノテーションに再接続し、 (iii) 図を含む断片をVLMに送信する。 さらに、Pirceのセミオティックフレームワークを採用することにより、ダイアグラムに関する重要な知識を抽出し、簡潔なキャプションを生成するプロンプトを設計した。 最後に、これらのキャプションを知識グラフに統合し、コンポジットソース内の図形コンテンツの構造化表現を可能にする。

関連論文リスト

• SmartCLIP: Modular Vision-language Alignment with Identification Guarantees [59.16312652369709]
  Contrastive Language-Image Pre-Traiing (CLIP)citepradford2021 Learningは、コンピュータビジョンとマルチモーダル学習において重要なモデルとして登場した。 CLIPは、多くの画像テキストデータセットにおける潜在的な情報ミスアライメントに苦労し、絡み合った表現に悩まされている。 モジュラー方式で、最も関連性の高い視覚的およびテキスト的表現を特定し、調整する新しいアプローチである。
  論文  参考訳（メタデータ） (2025-07-29T22:26:20Z)
• ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
  コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。 本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。 私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2024-09-12T16:46:41Z)
• Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation [59.78520153338878]
  テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。 そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T07:59:07Z)
• Visual Semantic Parsing: From Images to Abstract Meaning Representation [20.60579156219413]
  自然言語処理の分野で広く使われている意味表現である抽象的意味表現(AMR)を活用することを提案する。 我々の視覚的AMRグラフは、視覚入力から外挿された高レベルな意味概念に焦点をあてて、言語的により理解されている。 本研究は,シーン理解の改善に向けた今後の重要な研究方向を示唆するものである。
  論文  参考訳（メタデータ） (2022-10-26T17:06:42Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• Boosting Entity-aware Image Captioning with Multi-modal Knowledge Graph [96.95815946327079]
  名前付きエンティティの長期分布により、名前付きエンティティと視覚的キューの関係を学習することは困難である。 本稿では、視覚オブジェクトと名前付きエンティティを関連付けるために、マルチモーダルな知識グラフを構築する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-07-26T05:50:41Z)
• Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning [50.08729005865331]
  本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。 複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。 段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
  論文  参考訳（メタデータ） (2021-05-10T06:55:39Z)
• Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
  本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。 具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。 一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
  論文  参考訳（メタデータ） (2020-02-26T15:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。