論文の概要: Introducing the diagrammatic semiotic mode
- arxiv url: http://arxiv.org/abs/2001.11224v2
- Date: Sun, 12 Jun 2022 17:42:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 11:37:09.471790
- Title: Introducing the diagrammatic semiotic mode
- Title(参考訳): 図式的セミオティックモードの導入
- Authors: Tuomo Hiippala and John A. Bateman
- Abstract要約: 我々は、ダイアグラムの一般的な分類における信頼性、カバレッジ、有用性の向上の1つの方法は、最近開発されたセミオティックな原理に基づくものであると論じる。
これは、図形表現が自然言語、様々な形態のグラフィックス、図形要素をコヒーレントな組織に統合する方法についての自然な説明を提供する。
本稿では,2つの図形コーパスを用いた提案手法について述べるとともに,図形表現の実証的解析を支援するマルチモーダル手法について述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the use and diversity of diagrams across many disciplines grows, there is
an increasing interest in the diagrams research community concerning how such
diversity might be documented and explained. In this article, we argue that one
way of achieving increased reliability, coverage, and utility for a general
classification of diagrams is to draw on recently developed semiotic principles
developed within the field of multimodality. To this end, we sketch out the
internal details of what may tentatively be termed the diagrammatic semiotic
mode. This provides a natural account of how diagrammatic representations may
integrate natural language, various forms of graphics, diagrammatic elements
such as arrows, lines and other expressive resources into coherent
organisations, while still respecting the crucial diagrammatic contributions of
visual organisation. We illustrate the proposed approach using two recent
diagram corpora and show how a multimodal approach supports the empirical
analysis of diagrammatic representations, especially in identifying
diagrammatic constituents and describing their interrelations in a manner that
may be generalised across diagram types and be used to characterise distinct
kinds of functionality.
- Abstract(参考訳): 多くの分野にわたるダイアグラムの使用と多様性が拡大するにつれ、これらの多様性がどのように文書化され説明されるかについて、ダイアグラム研究コミュニティの関心が高まっている。
本稿では, ダイアグラムの一般分類における信頼性, カバレッジ, 有用性を向上する一つの方法は, マルチモーダリティの分野において最近開発されたセミオティックな原理に基づくものである,と論じる。
この目的のために、仮に図形的セミオティックモードと呼ばれるものの内部の詳細をスケッチする。
これは、図式表現が自然言語、様々なグラフィック形態、矢印、線などの図式要素をコヒーレントな組織にどのように統合するかの自然な説明を提供する一方で、視覚組織の重要な図式的貢献を尊重している。
本稿では,最近の2つのダイアグラムコーパスを用いて提案手法を説明し,マルチモーダルアプローチが図表表現の実証的解析,特に図表的構成要素の同定とそれらの相互関係を図式型に一般化され,異なる種類の機能性を特徴付ける方法で記述する方法について示す。
関連論文リスト
- A Pattern to Align Them All: Integrating Different Modalities to Define Multi-Modal Entities [2.806682991652085]
マルチモーダル知識グラフは、エンティティと可能なモーダル表現を関連付けることによって、従来の知識グラフを拡張する。
本稿では,エンティティとそれが伝達する情報との間の関心事の分離を捉える新しいデザインパターンを提案する。
論文 参考訳(メタデータ) (2024-10-17T17:41:04Z) - StructChart: Perception, Structuring, Reasoning for Visual Chart
Understanding [58.38480335579541]
現在のチャート関連タスクは、視覚チャートから情報を抽出することを参照するチャート認識か、抽出されたデータから推論を行うかに焦点を当てている。
本稿では,共同認識と推論タスクのための統一的でラベル効率のよい学習パラダイムを確立することを目的とする。
各種のチャート関連タスクで実験を行い、統合されたチャート認識推論パラダイムの有効性と有望な可能性を実証した。
論文 参考訳(メタデータ) (2023-09-20T12:51:13Z) - Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for
Improved Vision-Language Compositionality [50.48859793121308]
対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。
近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
論文 参考訳(メタデータ) (2023-05-23T08:28:38Z) - Schema Inference for Interpretable Image Classification [33.94994827510277]
本稿では,従来のディープニューラルネットワーク(DNN)の手法を再構築することにより,説明可能な予測を誘導的に推論することを学ぶ,スキーマ推論と呼ばれる新しい推論パラダイムについて検討する。
いくつかのベンチマークにおける理論的解析と実験結果は,提案したスキーマ推論が性能向上を実現することを示すものである。
論文 参考訳(メタデータ) (2023-03-12T11:23:56Z) - DyTed: Disentangled Representation Learning for Discrete-time Dynamic
Graph [59.583555454424]
離散時間動的グラフ、すなわちDyTedのための新しいディペンタングル表現学習フレームワークを提案する。
本研究では,時間不変の表現と時間変動の表現を効果的に識別する構造的コントラスト学習とともに,時間的クリップのコントラスト学習タスクを特別に設計する。
論文 参考訳(メタデータ) (2022-10-19T14:34:12Z) - Group Contrastive Self-Supervised Learning on Graphs [101.45974132613293]
グラフ上での自己教師型学習をコントラッシブ手法を用いて研究する。
複数の部分空間におけるグラフの対比により、グラフエンコーダはより豊富な特徴を捉えることができる。
論文 参考訳(メタデータ) (2021-07-20T22:09:21Z) - A unified framework based on graph consensus term for multi-view
learning [5.168659132277719]
本稿では,既存のグラフ埋め込み作業の多くを統一された公式に活用することを目的とした,新しい多視点学習フレームワークを提案する。
本手法は,グラフ埋め込み手法の多様性を維持するために,各ビューのグラフ構造を独立に探索する。
この目的のために、異なる視点の多様性と相補的な情報を同時に検討することができる。
論文 参考訳(メタデータ) (2021-05-25T09:22:21Z) - Matching Visual Features to Hierarchical Semantic Topics for Image
Paragraph Captioning [50.08729005865331]
本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。
複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。
段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
論文 参考訳(メタデータ) (2021-05-10T06:55:39Z) - Disentangled Motif-aware Graph Learning for Phrase Grounding [48.64279161780489]
画像中のフレーズ接地のための新しいグラフ学習フレームワークを提案する。
モチーフを認識した文脈情報を表現に組み込むために,不連続グラフネットワークを考案する。
私たちのモデルはFlickr30K EntitiesとReferIt Gameベンチマークで最先端のパフォーマンスを実現します。
論文 参考訳(メタデータ) (2021-04-13T08:20:07Z) - RL-CSDia: Representation Learning of Computer Science Diagrams [25.66215925641988]
コンピュータサイエンスダイアグラム(csdia)という,図形図の新しいデータセットを構築する。
1200以上の図とオブジェクトと関係の完全なアノテーションを含んでいる。
図中の様々な表現に起因する視覚ノイズを考慮して,図形のトポロジーを導入し,位相構造を解析する。
論文 参考訳(メタデータ) (2021-03-10T07:01:07Z) - Semiotically-grounded distant viewing of diagrams: insights from two
multimodal corpora [0.0]
本稿では,表現的資源と談話構造を対象とするマルチモダリティ研究により,計算手法の出力構造を記述できるアノテーションについて述べる。
その結果,マルチモーダルなインフォームドアノテーションは,異なるトピックを扱うダイアグラムにまたがる構造的パターンを図中に持ち出すことができることがわかった。
論文 参考訳(メタデータ) (2021-03-08T12:04:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。