論文の概要: Learning semantic Image attributes using Image recognition and knowledge graph embeddings

• arxiv url: http://arxiv.org/abs/2009.05812v1
• Date: Sat, 12 Sep 2020 15:18:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 07:50:50.053156
• Title: Learning semantic Image attributes using Image recognition and knowledge graph embeddings
• Title（参考訳）: 画像認識と知識グラフ埋め込みを用いた意味的イメージ属性の学習
• Authors: Ashutosh Tiwari and Sandeep Varma
• Abstract要約: 本稿では,知識グラフ埋め込みモデルと認識された画像の属性を組み合わせることで,画像の意味的属性を学習するための共有学習手法を提案する。 提案されたアプローチは、大量のデータから学習するフレームワークと、新しい知識を推論するために限定的な述語を使用するフレームワークのギャップを埋めるためのステップである。
• 参考スコア（独自算出の注目度）: 0.3222802562733786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extracting structured knowledge from texts has traditionally been used for knowledge base generation. However, other sources of information, such as images can be leveraged into this process to build more complete and richer knowledge bases. Structured semantic representation of the content of an image and knowledge graph embeddings can provide a unique representation of semantic relationships between image entities. Linking known entities in knowledge graphs and learning open-world images using language models has attracted lots of interest over the years. In this paper, we propose a shared learning approach to learn semantic attributes of images by combining a knowledge graph embedding model with the recognized attributes of images. The proposed model premises to help us understand the semantic relationship between the entities of an image and implicitly provide a link for the extracted entities through a knowledge graph embedding model. Under the limitation of using a custom user-defined knowledge base with limited data, the proposed model presents significant accuracy and provides a new alternative to the earlier approaches. The proposed approach is a step towards bridging the gap between frameworks which learn from large amounts of data and frameworks which use a limited set of predicates to infer new knowledge.
• Abstract（参考訳）: テキストから構造化知識を抽出することは、伝統的に知識ベース生成に用いられてきた。 しかし、画像などの他の情報ソースはこのプロセスに活用でき、より完全でリッチな知識基盤を構築することができる。 画像の内容の構造化された意味表現と知識グラフ埋め込みは、画像エンティティ間の意味関係のユニークな表現を提供することができる。 知識グラフに既知のエンティティをリンクし、言語モデルを使ってオープンワールドイメージを学ぶことは、長年にわたって多くの関心を集めてきた。 本稿では,知識グラフ埋め込みモデルと画像の認識属性を組み合わせることで,画像の意味属性を学習するための共有学習手法を提案する。 提案するモデル前提は,画像のエンティティ間の意味的関係を理解し,知識グラフ埋め込みモデルを通じて抽出されたエンティティのリンクを暗黙的に提供する。 限られたデータを持つカスタムユーザ定義知識ベースの使用制限の下では,提案モデルは非常に精度が高く,従来のアプローチに代わる新しい代替手段を提供する。 提案されたアプローチは、大量のデータから学習するフレームワークと、新しい知識を推論するために限定的な述語を使用するフレームワークのギャップを埋めるためのステップである。

関連論文リスト

• ARMADA: Attribute-Based Multimodal Data Augmentation [93.05614922383822]
  Attribute-based Multimodal Data Augmentation (ARMADA) は、知識誘導による視覚属性の操作による新しいマルチモーダルデータ拡張手法である。 ARMADAは、新しいマルチモーダルデータ生成フレームワークである。 (i) 意味的に一貫性があるがユニークな画像-テキストペア生成のために、シンボリックKBから知識基底属性を抽出する。 これはまた、解釈可能性の向上と現実世界の接地のために外部の知識プロキシを活用する必要性を強調している。
  論文  参考訳（メタデータ） (2024-08-19T15:27:25Z)
• Decoupled Textual Embeddings for Customized Image Generation [62.98933630971543]
  カスタマイズされたテキスト・ツー・イメージ生成は、ユーザが指定した概念を少数の画像で学習することを目的としている。 既存の方法は、通常、過剰な問題に悩まされ、学習された概念と対象と無関係な情報を絡み合わせる。 フレキシブルなテキスト・ツー・イメージ生成のための不整合概念の埋め込みを学習する新しいアプローチであるDETEXを提案する。
  論文  参考訳（メタデータ） (2023-12-19T03:32:10Z)
• Rule-Guided Joint Embedding Learning over Knowledge Graphs [6.831227021234669]
  本稿では,コンテキスト情報とリテラル情報の両方を実体と関係埋め込みに組み込んだ新しいモデルを提案する。 文脈情報については,信頼度と関連度を指標として重要度を評価する。 2つの確立されたベンチマークデータセットに対して、徹底的な実験を行い、モデル性能を検証する。
  論文  参考訳（メタデータ） (2023-12-01T19:58:31Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
  我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。 知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
  論文  参考訳（メタデータ） (2022-11-04T20:38:12Z)
• One-shot Scene Graph Generation [130.57405850346836]
  ワンショットシーングラフ生成タスクに対して,複数の構造化知識(関係知識知識)を提案する。 提案手法は既存の最先端手法よりも大きなマージンで優れる。
  論文  参考訳（メタデータ） (2022-02-22T11:32:59Z)
• Boosting Entity-aware Image Captioning with Multi-modal Knowledge Graph [96.95815946327079]
  名前付きエンティティの長期分布により、名前付きエンティティと視覚的キューの関係を学習することは困難である。 本稿では、視覚オブジェクトと名前付きエンティティを関連付けるために、マルチモーダルな知識グラフを構築する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-07-26T05:50:41Z)
• Entity Context Graph: Learning Entity Representations fromSemi-Structured Textual Sources on the Web [44.92858943475407]
  エンティティ中心のテキスト知識ソースを処理してエンティティ埋め込みを学ぶアプローチを提案する。 私たちのアプローチから学んだ埋め込みは、(i)高品質で、既知の知識グラフベースの埋め込みに匹敵し、それらをさらに改善するために使用することができます。
  論文  参考訳（メタデータ） (2021-03-29T20:52:14Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。