論文の概要: Spatial Knowledge Graph-Guided Multimodal Synthesis

• arxiv url: http://arxiv.org/abs/2505.22633v1
• Date: Wed, 28 May 2025 17:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.774188
• Title: Spatial Knowledge Graph-Guided Multimodal Synthesis
• Title（参考訳）: 空間知識グラフを用いたマルチモーダル合成
• Authors: Yida Xue, Zhen Bi, Jinnan Yang, Jungang Lou, Huajun Chen, Ningyu Zhang,
• Abstract要約: 我々は空間知識グラフで導かれる新しいマルチモーダル合成手法であるSKG2Dataを紹介する。 本研究では,空間知識グラフを用いた新しいマルチモーダルデータ合成手法であるSKG2Dataを紹介する。
• 参考スコア（独自算出の注目度）: 41.91964971544324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in multimodal large language models (MLLMs) have significantly enhanced their capabilities; however, their spatial perception abilities remain a notable limitation. To address this challenge, multimodal data synthesis offers a promising solution. Yet, ensuring that synthesized data adhere to spatial common sense is a non-trivial task. In this work, we introduce SKG2Data, a novel multimodal synthesis approach guided by spatial knowledge graphs, grounded in the concept of knowledge-to-data generation. SKG2Data automatically constructs a Spatial Knowledge Graph (SKG) to emulate human-like perception of spatial directions and distances, which is subsequently utilized to guide multimodal data synthesis. Extensive experiments demonstrate that data synthesized from diverse types of spatial knowledge, including direction and distance, not only enhance the spatial perception and reasoning abilities of MLLMs but also exhibit strong generalization capabilities. We hope that the idea of knowledge-based data synthesis can advance the development of spatial intelligence.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の最近の進歩は、その能力を大幅に向上させてきたが、その空間知覚能力は、依然として顕著な限界である。 この課題に対処するため、マルチモーダルデータ合成は有望な解決策を提供する。 しかし、合成されたデータが空間的常識に忠実であることを保証することは、非自明な作業である。 本研究では,空間知識グラフによって導かれる新しいマルチモーダル合成手法であるSKG2Dataを紹介する。 SKG2Dataは空間的方向と距離の人間的な認識をエミュレートする空間知識グラフ(SKG)を自動構築し、その後、マルチモーダルデータ合成のガイドとして使用される。 大規模な実験により、方向や距離を含む多様な空間知識から合成されたデータは、MLLMの空間知覚と推論能力を高めるだけでなく、強力な一般化能力も示している。 知識に基づくデータ合成のアイデアが空間知性の発展を促進することを願っている。

関連論文リスト

• OmniGeo: Towards a Multimodal Large Language Models for Geospatial Artificial Intelligence [51.0456395687016]
  マルチモーダル大言語モデル(LLM)が人工知能の新しいフロンティアをオープンした。 地理空間応用に適したMLLM(OmniGeo)を提案する。 自然言語理解の長所と空間的推論の長所を組み合わせることで,GeoAIシステムの指示追従能力と精度を高めることができる。
  論文  参考訳（メタデータ） (2025-03-20T16:45:48Z)
• Conservation-informed Graph Learning for Spatiotemporal Dynamics Prediction [84.26340606752763]
  本稿では,保護インフォームドGNN(CiGNN)について紹介する。 このネットワークは、保守的かつ非保守的な情報が、潜時的行進戦略によって多次元空間を通過する対称性による一般的な対称性保存則に従うように設計されている。 結果は,CiGNNが顕著なベースライン精度と一般化性を示し,様々な時間的ダイナミクスの予測のための学習に容易に適用可能であることを示した。
  論文  参考訳（メタデータ） (2024-12-30T13:55:59Z)
• Spherinator and HiPSter: Representation Learning for Unbiased Knowledge Discovery from Simulations [0.0]
  我々は、幅広いシミュレーションから有用な科学的洞察を得るための、新しい、偏見のない、機械学習に基づくアプローチについて説明する。 我々の概念は、低次元空間におけるデータのコンパクトな表現を学習するために非線形次元削減を適用することに基づいている。 本稿では、回転不変な超球面変動畳み込み自己エンコーダを用いて、潜時空間の電力分布を利用して、IllustrisTNGシミュレーションから銀河を訓練したプロトタイプを提案する。
  論文  参考訳（メタデータ） (2024-06-06T07:34:58Z)
• Deep Learning for Spatiotemporal Big Data: A Vision on Opportunities and Challenges [4.497634148674422]
  一時的ビッグデータは、これまで不可能だった問題を解決する新たな機会を育むことができる。 ビッグデータの特徴は、ディープラーニング技術に新たな課題をもたらす。
  論文  参考訳（メタデータ） (2023-10-30T19:12:51Z)
• Approach to Data Science with Multiscale Information Theory [0.0]
  データサイエンスは、大規模で複雑なデータセットから貴重な洞察を抽出する上で重要な役割を果たす、多分野の分野である。 データサイエンスの世界では、情報理論(IT)と統計力学(SM)の2つの基本的な要素がある。 本稿では,このデータサイエンスの枠組みを粒子からなる大規模かつ複雑な機械システムに適用する。
  論文  参考訳（メタデータ） (2023-05-23T01:08:50Z)
• Dominant motion identification of multi-particle system using deep learning from video [0.0]
  本研究では,高度システムの実世界映像から関連情報を抽出するディープラーニングフレームワークを提案する。 本手法は,アリ,シロアリ,魚の閉じ込められた多エージェント/粒子系のビデオで実証する。 さらに,これらの多様なシステムがどのようにして基礎となる振る舞いを予測できるかを考察する。
  論文  参考訳（メタデータ） (2021-04-26T17:10:56Z)
• Synthetic Data: Opening the data floodgates to enable faster, more directed development of machine learning methods [96.92041573661407]
  機械学習における画期的な進歩の多くは、大量のリッチデータを利用できることに起因する。 多くの大規模データセットは、医療データなど高度に敏感であり、機械学習コミュニティでは広く利用できない。 プライバシー保証で合成データを生成することは、そのようなソリューションを提供します。
  論文  参考訳（メタデータ） (2020-12-08T17:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。