論文の概要: MMPKUBase: A Comprehensive and High-quality Chinese Multi-modal Knowledge Graph

• arxiv url: http://arxiv.org/abs/2408.01679v1
• Date: Sat, 3 Aug 2024 06:35:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 19:00:53.301966
• Title: MMPKUBase: A Comprehensive and High-quality Chinese Multi-modal Knowledge Graph
• Title（参考訳）: MMPKUBase: 総合的で高品質な中国のマルチモーダル知識グラフ
• Authors: Xuan Yi, Yanzeng Li, Lei Zou,
• Abstract要約: MMPKUBaseは中国のマルチモーダルな知識グラフで、鳥類、哺乳類、シダなどさまざまな領域を網羅している。 画像データを改良するために,原型コントラスト学習と分離フォレストアルゴリズムを用いる。
• 参考スコア（独自算出の注目度）: 13.098964050074438
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-modal knowledge graphs have emerged as a powerful approach for information representation, combining data from different modalities such as text, images, and videos. While several such graphs have been constructed and have played important roles in applications like visual question answering and recommendation systems, challenges persist in their development. These include the scarcity of high-quality Chinese knowledge graphs and limited domain coverage in existing multi-modal knowledge graphs. This paper introduces MMPKUBase, a robust and extensive Chinese multi-modal knowledge graph that covers diverse domains, including birds, mammals, ferns, and more, comprising over 50,000 entities and over 1 million filtered images. To ensure data quality, we employ Prototypical Contrastive Learning and the Isolation Forest algorithm to refine the image data. Additionally, we have developed a user-friendly platform to facilitate image attribute exploration.
• Abstract（参考訳）: マルチモーダルな知識グラフは、テキスト、画像、ビデオなどの様々なモダリティからのデータを組み合わせた、情報表現のための強力なアプローチとして登場した。 このようなグラフがいくつか構築され、視覚的質問応答やレコメンデーションシステムといったアプリケーションで重要な役割を果たしてきたが、その開発には課題が続いている。 これには、高品質な中国の知識グラフの不足や、既存のマルチモーダルな知識グラフのドメインカバレッジの制限が含まれる。 本稿では,5万以上のエンティティと100万以上のフィルタリング画像からなる,鳥,哺乳類,シダなど多種多様なドメインをカバーする,堅牢で広範な中国のマルチモーダル知識グラフであるMMPKUBaseを紹介する。 データ品質を確保するために,原型コントラスト学習と分離フォレストアルゴリズムを用いて画像データを改良する。 さらに,画像属性探索を容易にするユーザフレンドリーなプラットフォームを開発した。

関連論文リスト

• When Graph meets Multimodal: Benchmarking on Multimodal Attributed Graphs Learning [36.6581535146878]
  マルチモーダル属性グラフ(MAG)は、様々な現実世界のシナリオで一般的であり、一般的に2種類の知識を含んでいる。 プレトレーニング言語/視覚モデル(PLM/PVM)とグラフニューラルネットワーク(GNN)の最近の進歩は、MAGの効果的な学習を促進する。 本稿では、MAGのベンチマークデータセットの総合的かつ多種多様なコレクションであるMultimodal Attribute Graph Benchmark(MAGB)を提案する。
  論文  参考訳（メタデータ） (2024-10-11T13:24:57Z)
• ARMADA: Attribute-Based Multimodal Data Augmentation [93.05614922383822]
  Attribute-based Multimodal Data Augmentation (ARMADA) は、知識誘導による視覚属性の操作による新しいマルチモーダルデータ拡張手法である。 ARMADAは、新しいマルチモーダルデータ生成フレームワークである。 (i) 意味的に一貫性があるがユニークな画像-テキストペア生成のために、シンボリックKBから知識基底属性を抽出する。 これはまた、解釈可能性の向上と現実世界の接地のために外部の知識プロキシを活用する必要性を強調している。
  論文  参考訳（メタデータ） (2024-08-19T15:27:25Z)
• MMIU: Multimodal Multi-image Understanding for Evaluating Large Vision-Language Models [76.1999277491816]
  MMIU(Multimodal Multi-image Understanding)は、LVLM(Large Vision-Language Models)を評価するための総合的な評価スイートである。 MMIUには7種類のマルチイメージ関係、52のタスク、77Kのイメージ、1Kの微調整された複数選択質問が含まれている。 オープンソースモデルとプロプライエタリモデルの両方を含む24種類のLVLMを評価した結果,マルチイメージ理解における大きな課題が明らかになった。
  論文  参考訳（メタデータ） (2024-08-05T17:56:41Z)
• Multimodal Graph Benchmark [36.75510196380185]
  マルチモーダルグラフベンチマーク(Multimodal Graph Benchmark、MM-GRAPH)は、テキスト情報と視覚情報の両方を組み込んだ総合的なマルチモーダルグラフベンチマークである。 MM-GRAPHは5つのグラフ学習データセットから構成されており、異なる学習タスクに適している。 MM-GRAPHは、マルチモーダルグラフ学習の研究を促進し、より高度で堅牢なグラフ学習アルゴリズムの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-06-24T05:14:09Z)
• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々は、Draw-and-Understandプロジェクト、新しいモデル、マルチドメインデータセット、ビジュアルプロンプトのための挑戦的なベンチマークを紹介する。 具体的には、視覚エンコーダ、視覚プロンプトエンコーダ、LLMを接続する、エンド・ツー・エンドのマルチモーダル大規模言語モデル(MLLM)を提案する。 MLLMの視覚的プロンプト研究を進めるために,MDVP-DataとMDVP-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• Learning on Multimodal Graphs: A Survey [6.362513821299131]
  マルチモーダルデータは医療、ソーシャルメディア、交通など様々な領域に及んでいる。 マルチモーダルグラフ学習(MGL)は、人工知能(AI)アプリケーションの成功に不可欠である。
  論文  参考訳（メタデータ） (2024-02-07T23:50:00Z)
• Multi-source Semantic Graph-based Multimodal Sarcasm Explanation Generation [53.97962603641629]
  本稿では,mulTi-source sEmantic grAph-based Multimodal sarcasm explanation scheme, TEAMを提案する。 TEAMは、入力画像から従来のグローバルな視覚的特徴の代わりに、オブジェクトレベルのセマンティックメタデータを抽出する。 TEAMはマルチソース意味関係を包括的に特徴付けるマルチソース意味グラフを導入している。
  論文  参考訳（メタデータ） (2023-06-29T03:26:10Z)
• Domain Generalization for Mammographic Image Analysis with Contrastive Learning [62.25104935889111]
  効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。 より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。 提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
  論文  参考訳（メタデータ） (2023-04-20T11:40:21Z)
• MMGA: Multimodal Learning with Graph Alignment [8.349066399479938]
  本稿では,グラフ(ソーシャルネットワーク)や画像,テキストなどの情報をソーシャルメディアに組み込むための,新しいマルチモーダル事前学習フレームワークMMGAを提案する。 MMGAでは,画像とテキストエンコーダを最適化するために,多段階のグラフアライメント機構が提案されている。 われわれのデータセットは、グラフ付き初のソーシャルメディアマルチモーダルデータセットであり、将来の研究を促進するために200万の投稿に基づいて特定のトピックをラベル付けした6万人のユーザーからなる。
  論文  参考訳（メタデータ） (2022-10-18T15:50:31Z)
• Real-MFF: A Large Realistic Multi-focus Image Dataset with Ground Truth [58.226535803985804]
  我々はReal-MFFと呼ばれる大規模で現実的なマルチフォーカスデータセットを導入する。 データセットは、710対のソースイメージと対応する接地真理画像を含む。 このデータセット上で10の典型的なマルチフォーカスアルゴリズムを図示のために評価する。
  論文  参考訳（メタデータ） (2020-03-28T12:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。