論文の概要: Heri-Graphs: A Workflow of Creating Datasets for Multi-modal Machine
Learning on Graphs of Heritage Values and Attributes with Social Media
- arxiv url: http://arxiv.org/abs/2205.07545v1
- Date: Mon, 16 May 2022 09:45:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 16:54:04.046728
- Title: Heri-Graphs: A Workflow of Creating Datasets for Multi-modal Machine
Learning on Graphs of Heritage Values and Attributes with Social Media
- Title（参考訳）: Heri-Graphs: 遺産価値グラフとソーシャルメディアによるマルチモーダル機械学習のためのデータセット作成ワークフロー
- Authors: Nan Bai, Pirouz Nourian, Renqian Luo, Ana Pereira Roders
- Abstract要約: 価値(なぜ保存されるのか)と属性(なぜ保存されるのか)は文化遺産の本質的な概念である。
近年の研究では、ソーシャルメディアを用いて、大衆が文化遺産に伝達する価値と属性をマッピングしている。
本研究では,Flickr 上のポストや画像を用いたマルチモーダルデータセット構築のための方法論的ワークフローを提案する。
- 参考スコア（独自算出の注目度）: 7.318997639507268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Values (why to conserve) and Attributes (what to conserve) are essential
concepts of cultural heritage. Recent studies have been using social media to
map values and attributes conveyed by public to cultural heritage. However, it
is rare to connect heterogeneous modalities of images, texts, geo-locations,
timestamps, and social network structures to mine the semantic and structural
characteristics therein. This study presents a methodological workflow for
constructing such multi-modal datasets using posts and images on Flickr for
graph-based machine learning (ML) tasks concerning heritage values and
attributes. After data pre-processing using state-of-the-art ML models, the
multi-modal information of visual contents and textual semantics are modelled
as node features and labels, while their social relationships and
spatiotemporal contexts are modelled as links in Multi-Graphs. The workflow is
tested in three cities containing UNESCO World Heritage properties - Amsterdam,
Suzhou, and Venice, which yielded datasets with high consistency for
semi-supervised learning tasks. The entire process is formally described with
mathematical notations, ready to be applied in provisional tasks both as ML
problems with technical relevance and as urban/heritage study questions with
societal interests. This study could also benefit the understanding and mapping
of heritage values and attributes for future research in global cases, aiming
at inclusive heritage management practices.
- Abstract（参考訳）: 価値(なぜ保存するか)と属性(何を保存するか)は文化遺産の重要な概念である。
近年の研究では、ソーシャルメディアを用いて、大衆が文化遺産に伝達する価値と属性をマッピングしている。
しかし,画像,テキスト,位置情報,タイムスタンプ,ソーシャルネットワーク構造の異質なモダリティを接続して意味的・構造的特徴をマイニングすることは稀である。
本研究では,遺産価値と属性に関するグラフベース機械学習(ML)タスクにおいて,Flickr上の投稿と画像を用いたマルチモーダルデータセット構築のための方法論的ワークフローを提案する。
最先端mlモデルを用いたデータ前処理の後、視覚コンテンツとテキスト意味論のマルチモーダル情報はノードの特徴とラベルとしてモデル化され、社会的関係と時空間的コンテキストはマルチグラフのリンクとしてモデル化される。
このワークフローは、ユネスコの世界遺産(アムステルダム、蘇州、ヴェネツィア)を含む3つの都市でテストされている。
プロセス全体は数学的表記で公式に記述されており、技術的な関連性のあるML問題や社会的関心を持つ都市・遺伝研究の質問といった仮のタスクに適用される。
本研究は,グローバルケースにおける遺産価値と属性の理解とマッピングにも有効であり,包括的遺産管理の実践を目指している。
関連論文リスト
- Graph Learning in the Era of LLMs: A Survey from the Perspective of Data, Models, and Tasks [25.720233631885726]
グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)の統合は、有望な技術パラダイムとして現れている。
データ品質を根本的に向上させるために、リッチなセマンティックコンテキストを持つグラフ記述テキストを活用します。
この研究は、グラフ学習方法論の進歩を目指す研究者や実践者にとって、基礎的な参考となる。
論文 参考訳（メタデータ） (2024-12-17T01:41:17Z) - Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Survey [93.72125112643596]
Next Token Prediction (NTP)は、機械学習タスクの多目的な学習目標である。
本調査では,マルチモーダル学習における理解と生成を一体化する包括的分類法を導入する。
提案した分類法は,マルチモーダルトークン化,MMNTPモデルアーキテクチャ,統合タスク表現,データセットと評価,オープンチャレンジの5つの重要な側面を網羅している。
論文 参考訳（メタデータ） (2024-12-16T05:02:25Z) - Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。
本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。
実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2024-10-31T06:55:24Z) - MaterioMiner -- An ontology-based text mining dataset for extraction of process-structure-property entities [0.0]
本稿では,MaterioMinerデータセットと,オントロジの概念がテキストの実体と結びついている材料オントロジーについて述べる。
本稿では,3つのレーダ間の整合性について検討し,名前付きプロセス認識モデルトレーニングの実現可能性を示す。
論文 参考訳（メタデータ） (2024-08-05T21:42:59Z) - Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。
提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
論文 参考訳（メタデータ） (2024-06-18T13:35:25Z) - Multimodal Metadata Assignment for Cultural Heritage Artifacts [1.5826261914050386]
我々は,後期融合アプローチを用いた文化的遺産ドメインのマルチモーダル分類器を開発した。
3つのモダリティは、画像、テキスト、タブラリデータである。
個々の分類器は、デジタル化された絹のアーティファクトの欠落特性を正確に予測し、マルチモーダルなアプローチが最良の結果をもたらす。
論文 参考訳（メタデータ） (2024-06-01T12:41:03Z) - From Pixels to Insights: A Survey on Automatic Chart Understanding in the Era of Large Foundation Models [98.41645229835493]
グラフ形式のデータの可視化は、データ分析において重要な役割を担い、重要な洞察を提供し、情報的な意思決定を支援する。
大規模言語モデルのような大規模な基盤モデルは、様々な自然言語処理タスクに革命をもたらした。
本研究は,自然言語処理,コンピュータビジョン,データ解析の分野における研究者や実践者の包括的資源として機能する。
論文 参考訳（メタデータ） (2024-03-18T17:57:09Z) - Contextualized Structural Self-supervised Learning for Ontology Matching [0.9402105308876642]
我々はLaKERMapと呼ばれる新しい自己教師型学習フレームワークを導入する。
LaKERMapは暗黙の知識をトランスフォーマーに統合することで、概念の文脈的および構造的情報を活用する。
我々の革新的なアプローチから得られた知見は、LaKERMapがアライメント品質と推論時間で最先端のシステムを上回っていることを示している。
論文 参考訳（メタデータ） (2023-10-05T18:51:33Z) - Can I see an Example? Active Learning the Long Tail of Attributes and
Relations [64.50739983632006]
視覚シーンの属性や関係を問う,新たな逐次能動学習フレームワークを提案する。
従来のアクティブな学習手法では、特定の例のラベルを求めるが、エージェントが特定のカテゴリからサンプルを求めることができるように、このフレーミングを反転させる。
このフレーミングを用いて、データ分布の尾からサンプルを求めるアクティブサンプリング手法を導入し、Visual Genomeの古典的アクティブラーニング手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-03-11T19:28:19Z) - GCNBoost: Artwork Classification by Label Propagation through a
Knowledge Graph [32.129005474301735]
文脈情報はしばしば、そのような現実世界のデータを構成する鍵であり、知識グラフの形で使用することを提案する。
本稿では,注釈付きデータと擬似ラベル付きデータに基づいて構築された知識グラフの新たな利用法を提案する。
ラベルの伝搬により、グラフ畳み込みネットワークを用いてモデルを訓練することにより、アートワークの分類を向上する。
論文 参考訳（メタデータ） (2021-05-25T11:50:05Z) - KACC: A Multi-task Benchmark for Knowledge Abstraction, Concretization
and Completion [99.47414073164656]
包括的知識グラフ(KG)は、インスタンスレベルのエンティティグラフとオントロジーレベルの概念グラフを含む。
2ビューのKGは、知識の抽象化、包括化、完成に関する人間の能力を「シミュレーション」するためのモデルのためのテストベッドを提供する。
我々は,データセットのスケール,タスクカバレッジ,難易度の観点から,既存のベンチマークを改善した統一KGベンチマークを提案する。
論文 参考訳（メタデータ） (2020-04-28T16:21:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。