論文の概要: Semiotically-grounded distant viewing of diagrams: insights from two multimodal corpora

• arxiv url: http://arxiv.org/abs/2103.04692v1
• Date: Mon, 8 Mar 2021 12:04:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-10 09:51:51.379614
• Title: Semiotically-grounded distant viewing of diagrams: insights from two multimodal corpora
• Title（参考訳）: 図形の半基底的遠視:2つの多モードコーパスからの洞察
• Authors: Tuomo Hiippala and John A. Bateman
• Abstract要約: 本稿では,表現的資源と談話構造を対象とするマルチモダリティ研究により,計算手法の出力構造を記述できるアノテーションについて述べる。 その結果,マルチモーダルなインフォームドアノテーションは,異なるトピックを扱うダイアグラムにまたがる構造的パターンを図中に持ち出すことができることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this article, we bring together theories of multimodal communication and computational methods to study how primary school science diagrams combine multiple expressive resources. We position our work within the field of digital humanities, and show how annotations informed by multimodality research, which target expressive resources and discourse structure, allow imposing structure on the output of computational methods. We illustrate our approach by analysing two multimodal diagram corpora: the first corpus is intended to support research on automatic diagram processing, whereas the second is oriented towards studying diagrams as a mode of communication. Our results show that multimodally-informed annotations can bring out structural patterns in the diagrams, which also extend across diagrams that deal with different topics.
• Abstract（参考訳）: 本稿では,マルチモーダルコミュニケーション理論と計算手法を組み合わせることで,小学校理科図が複数の表現資源を組み合わせる方法を検討する。 我々は,デジタル人文科学の分野に我々の研究を位置づけ,表現資源と談話構造を対象とするマルチモダリティ研究のアノテーションにより,計算手法の出力構造を構築できることを示す。 第1のコーパスは自動ダイアグラム処理の研究を支援することを目的としていますが,第2のコーパスはコミュニケーションの手段としてダイアグラムを研究することを目的としています。 その結果,マルチモーダルなインフォームドアノテーションは,異なるトピックを扱うダイアグラムにまたがる構造的パターンを図中に持ち出すことができることがわかった。

関連論文リスト

• When Dimensionality Reduction Meets Graph (Drawing) Theory: Introducing a Common Framework, Challenges and Opportunities [46.1232919707345]
  次元の低減とグラフ解析は、可視化研究において人気のある2つのサブフィールドである。 本稿では,DRとグラフ(描画)理論のギャップを埋める一元化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-09T15:03:22Z)
• Contrastive Learning-based Multi Modal Architecture for Emoticon Prediction by Employing Image-Text Pairs [13.922091192207718]
  本研究の目的は,文,視覚,エモティコン間の関係を分析することである。 我々は,新しいコントラスト学習に基づくマルチモーダルアーキテクチャを提案する。 提案モデルの精度は91%,MCCスコアは90%,エモティコンは90%であった。
  論文  参考訳（メタデータ） (2024-08-05T15:45:59Z)
• Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition [83.13280812128411]
  近年の研究では、グラッキング、二重降下、大規模言語モデルにおける創発的能力など、ディープラーニングにおける興味深い現象が明らかにされている。 本稿では,記憶回路と一般化回路の競合に着目し,これら3つの現象の統一的な見方を提供する包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-23T08:14:36Z)
• Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models [80.32412260877628]
  人間の解釈可能な概念をデータから学習する方法を研究する。 両分野からアイデアをまとめ、多様なデータから概念を確実に回収できることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:23:59Z)
• Multimodal Foundation Models: From Specialists to General-Purpose Assistants [187.72038587829223]
  研究のランドスケープには5つの中核的なトピックが含まれており、2つのクラスに分類されている。 対象読者は、コンピュータビジョンの研究者、大学院生、およびビジョン言語によるマルチモーダルコミュニティの専門家である。
  論文  参考訳（メタデータ） (2023-09-18T17:56:28Z)
• Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
  本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。 我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-05-25T15:26:13Z)
• Weakly-Supervised Learning of Visual Relations in Multimodal Pretraining [25.11384964373604]
  マルチモーダルな設定で視覚的実体を文脈化するための2つの事前学習手法を提案する。 言語化されたシーングラフを用いて、視覚関係のトリプレットを構造化キャプションに変換し、それらを付加的な画像記述として扱う。 マスク付き関係予測では、視覚的にマスクされたコンテキストを持つ画像領域からのエンティティの関連性をさらに促進する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:12Z)
• Hierarchical Aligned Multimodal Learning for NER on Tweet Posts [12.632808712127291]
  マルチモーダルなエンティティ認識(MNER)が注目されている。 画像とテキストのシーケンスを動的に調整する新しい手法を提案する。 2つのオープンデータセットで実験を行い、その結果と詳細な分析により、我々のモデルの利点を実証した。
  論文  参考訳（メタデータ） (2023-05-15T06:14:36Z)
• Multimodal Lecture Presentations Dataset: Understanding Multimodality in Educational Slides [57.86931911522967]
  学習内容のマルチモーダル理解における機械学習モデルの能力を検証する。 このデータセットには,180時間以上のビデオと9000時間以上のスライドが,各科目から10人の講師が参加している。 マルチモーダル・トランスフォーマーであるPolyViLTを導入する。
  論文  参考訳（メタデータ） (2022-08-17T05:30:18Z)
• Group Contrastive Self-Supervised Learning on Graphs [101.45974132613293]
  グラフ上での自己教師型学習をコントラッシブ手法を用いて研究する。 複数の部分空間におけるグラフの対比により、グラフエンコーダはより豊富な特徴を捉えることができる。
  論文  参考訳（メタデータ） (2021-07-20T22:09:21Z)
• Introducing the diagrammatic semiotic mode [0.0]
  我々は、ダイアグラムの一般的な分類における信頼性、カバレッジ、有用性の向上の1つの方法は、最近開発されたセミオティックな原理に基づくものであると論じる。 これは、図形表現が自然言語、様々な形態のグラフィックス、図形要素をコヒーレントな組織に統合する方法についての自然な説明を提供する。 本稿では,2つの図形コーパスを用いた提案手法について述べるとともに,図形表現の実証的解析を支援するマルチモーダル手法について述べる。
  論文  参考訳（メタデータ） (2020-01-30T09:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。