論文の概要: Heri-Graphs: A Workflow of Creating Datasets for Multi-modal Machine
Learning on Graphs of Heritage Values and Attributes with Social Media
- arxiv url: http://arxiv.org/abs/2205.07545v1
- Date: Mon, 16 May 2022 09:45:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 16:54:04.046728
- Title: Heri-Graphs: A Workflow of Creating Datasets for Multi-modal Machine
Learning on Graphs of Heritage Values and Attributes with Social Media
- Title(参考訳): Heri-Graphs: 遺産価値グラフとソーシャルメディアによるマルチモーダル機械学習のためのデータセット作成ワークフロー
- Authors: Nan Bai, Pirouz Nourian, Renqian Luo, Ana Pereira Roders
- Abstract要約: 価値(なぜ保存されるのか)と属性(なぜ保存されるのか)は文化遺産の本質的な概念である。
近年の研究では、ソーシャルメディアを用いて、大衆が文化遺産に伝達する価値と属性をマッピングしている。
本研究では,Flickr 上のポストや画像を用いたマルチモーダルデータセット構築のための方法論的ワークフローを提案する。
- 参考スコア(独自算出の注目度): 7.318997639507268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Values (why to conserve) and Attributes (what to conserve) are essential
concepts of cultural heritage. Recent studies have been using social media to
map values and attributes conveyed by public to cultural heritage. However, it
is rare to connect heterogeneous modalities of images, texts, geo-locations,
timestamps, and social network structures to mine the semantic and structural
characteristics therein. This study presents a methodological workflow for
constructing such multi-modal datasets using posts and images on Flickr for
graph-based machine learning (ML) tasks concerning heritage values and
attributes. After data pre-processing using state-of-the-art ML models, the
multi-modal information of visual contents and textual semantics are modelled
as node features and labels, while their social relationships and
spatiotemporal contexts are modelled as links in Multi-Graphs. The workflow is
tested in three cities containing UNESCO World Heritage properties - Amsterdam,
Suzhou, and Venice, which yielded datasets with high consistency for
semi-supervised learning tasks. The entire process is formally described with
mathematical notations, ready to be applied in provisional tasks both as ML
problems with technical relevance and as urban/heritage study questions with
societal interests. This study could also benefit the understanding and mapping
of heritage values and attributes for future research in global cases, aiming
at inclusive heritage management practices.
- Abstract(参考訳): 価値(なぜ保存するか)と属性(何を保存するか)は文化遺産の重要な概念である。
近年の研究では、ソーシャルメディアを用いて、大衆が文化遺産に伝達する価値と属性をマッピングしている。
しかし,画像,テキスト,位置情報,タイムスタンプ,ソーシャルネットワーク構造の異質なモダリティを接続して意味的・構造的特徴をマイニングすることは稀である。
本研究では,遺産価値と属性に関するグラフベース機械学習(ML)タスクにおいて,Flickr上の投稿と画像を用いたマルチモーダルデータセット構築のための方法論的ワークフローを提案する。
最先端mlモデルを用いたデータ前処理の後、視覚コンテンツとテキスト意味論のマルチモーダル情報はノードの特徴とラベルとしてモデル化され、社会的関係と時空間的コンテキストはマルチグラフのリンクとしてモデル化される。
このワークフローは、ユネスコの世界遺産(アムステルダム、蘇州、ヴェネツィア)を含む3つの都市でテストされている。
プロセス全体は数学的表記で公式に記述されており、技術的な関連性のあるML問題や社会的関心を持つ都市・遺伝研究の質問といった仮のタスクに適用される。
本研究は,グローバルケースにおける遺産価値と属性の理解とマッピングにも有効であり,包括的遺産管理の実践を目指している。
関連論文リスト
- The (R)Evolution of Multimodal Large Language Models: A Survey [48.61135328255951]
MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティを、入力と出力の両方としてシームレスに統合することができる。
本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
論文 参考訳(メタデータ) (2024-02-19T19:01:01Z) - IICONGRAPH: improved Iconographic and Iconological Statements in
Knowledge Graphs [0.0]
IICONGRAPHは、ArCoとWikidataの図形的および図形的ステートメントを精細化し拡張することによって作成されたKGである。
IICONGRAPHはリソースの再利用性を保証するためのFAIR原則に従ってリリースされ、ドキュメント化されている。
論文 参考訳(メタデータ) (2024-01-24T15:44:16Z) - Contextualized Structural Self-supervised Learning for Ontology Matching [0.9402105308876642]
我々はLaKERMapと呼ばれる新しい自己教師型学習フレームワークを導入する。
LaKERMapは暗黙の知識をトランスフォーマーに統合することで、概念の文脈的および構造的情報を活用する。
我々の革新的なアプローチから得られた知見は、LaKERMapがアライメント品質と推論時間で最先端のシステムを上回っていることを示している。
論文 参考訳(メタデータ) (2023-10-05T18:51:33Z) - Exploring In-Context Learning Capabilities of Foundation Models for
Generating Knowledge Graphs from Text [3.114960935006655]
本論文は,知識グラフの自動構築と完成の技術をテキストから改善することを目的としている。
この文脈では、新しいパラダイムの1つは、言語モデルがプロンプトとともにそのまま使われる、コンテキスト内学習である。
論文 参考訳(メタデータ) (2023-05-15T17:10:19Z) - KALM: Knowledge-Aware Integration of Local, Document, and Global
Contexts for Long Document Understanding [27.4842322089676]
KALMは、ローカル、文書レベル、グローバルコンテキストにおける知識を共同で活用する知識認識言語モデルである。
6つの長い文書理解タスクとデータセットで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-10-08T20:51:02Z) - Can I see an Example? Active Learning the Long Tail of Attributes and
Relations [64.50739983632006]
視覚シーンの属性や関係を問う,新たな逐次能動学習フレームワークを提案する。
従来のアクティブな学習手法では、特定の例のラベルを求めるが、エージェントが特定のカテゴリからサンプルを求めることができるように、このフレーミングを反転させる。
このフレーミングを用いて、データ分布の尾からサンプルを求めるアクティブサンプリング手法を導入し、Visual Genomeの古典的アクティブラーニング手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-03-11T19:28:19Z) - Taxonomy Enrichment with Text and Graph Vector Representations [61.814256012166794]
我々は,既存の分類学に新たな語を加えることを目的とした分類学の豊かさの問題に対処する。
我々は,この課題に対して,少ない労力で高い結果を得られる新しい手法を提案する。
我々は、異なるデータセットにわたる最先端の結果を達成し、ミスの詳細なエラー分析を提供する。
論文 参考訳(メタデータ) (2022-01-21T09:01:12Z) - Knowledge Graph Augmented Network Towards Multiview Representation
Learning for Aspect-based Sentiment Analysis [96.53859361560505]
本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。
KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。
3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
論文 参考訳(メタデータ) (2022-01-13T08:25:53Z) - GCNBoost: Artwork Classification by Label Propagation through a
Knowledge Graph [32.129005474301735]
文脈情報はしばしば、そのような現実世界のデータを構成する鍵であり、知識グラフの形で使用することを提案する。
本稿では,注釈付きデータと擬似ラベル付きデータに基づいて構築された知識グラフの新たな利用法を提案する。
ラベルの伝搬により、グラフ畳み込みネットワークを用いてモデルを訓練することにより、アートワークの分類を向上する。
論文 参考訳(メタデータ) (2021-05-25T11:50:05Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z) - KACC: A Multi-task Benchmark for Knowledge Abstraction, Concretization
and Completion [99.47414073164656]
包括的知識グラフ(KG)は、インスタンスレベルのエンティティグラフとオントロジーレベルの概念グラフを含む。
2ビューのKGは、知識の抽象化、包括化、完成に関する人間の能力を「シミュレーション」するためのモデルのためのテストベッドを提供する。
我々は,データセットのスケール,タスクカバレッジ,難易度の観点から,既存のベンチマークを改善した統一KGベンチマークを提案する。
論文 参考訳(メタデータ) (2020-04-28T16:21:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。