論文の概要: Hybrid Representation Learning via Epistemic Graph

• arxiv url: http://arxiv.org/abs/2305.18731v1
• Date: Tue, 30 May 2023 04:10:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 18:17:18.900004
• Title: Hybrid Representation Learning via Epistemic Graph
• Title（参考訳）: 認識グラフによるハイブリッド表現学習
• Authors: Jin Yuan, Yang Zhang, Yangzhou Du, Zhongchao Shi, Xin Geng, Jianping Fan, Yong Rui
• Abstract要約: ハイブリッド学習を実現するために,新しいエピステミックグラフ層(EGLayer)を開発した。 我々のEGLayerは3つの主要な部分から構成される: (a) 学習した深い特徴を通して原型グラフを確立するための局所グラフモジュール、 (b) 局所グラフから有用な情報を集約するクエリ集約モデル、 (c) 局所およびグローバル隣接行列間の線形一貫性を制限する新しい相関損失関数。
• 参考スコア（独自算出の注目度）: 46.89175465535226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, deep models have achieved remarkable success in many vision tasks. Unfortunately, their performance largely depends on intensive training samples. In contrast, human beings typically perform hybrid learning, e.g., spontaneously integrating structured knowledge for cross-domain recognition or on a much smaller amount of data samples for few-shot learning. Thus it is very attractive to extend hybrid learning for the computer vision tasks by seamlessly integrating structured knowledge with data samples to achieve more effective representation learning. However, such a hybrid learning approach remains a great challenge due to the huge gap between the structured knowledge and the deep features (learned from data samples) on both dimensions and knowledge granularity. In this paper, a novel Epistemic Graph Layer (EGLayer) is developed to enable hybrid learning, such that the information can be exchanged more effectively between the deep features and a structured knowledge graph. Our EGLayer is composed of three major parts: (a) a local graph module to establish a local prototypical graph through the learned deep features, i.e., aligning the deep features with the structured knowledge graph at the same granularity; (b) a query aggregation model to aggregate useful information from the local graphs, and using such representations to compute their similarity with global node embeddings for final prediction; and (c) a novel correlation loss function to constrain the linear consistency between the local and global adjacency matrices.
• Abstract（参考訳）: 近年、深層モデルは多くの視覚課題で顕著な成功を収めている。 残念ながら、パフォーマンスは集中的なトレーニングサンプルに大きく依存します。 対照的に、人間は通常ハイブリッド学習を行う。例えば、クロスドメイン認識のための構造化知識を自然に統合したり、少数の学習のためにはるかに少ないデータサンプルを投入する。 このように、構造化知識をデータサンプルとシームレスに統合し、より効果的な表現学習を実現することで、コンピュータビジョンタスクのハイブリッド学習を拡張することが非常に魅力的である。 しかし、そのようなハイブリッド学習アプローチは、構造化された知識と、次元と知識の粒度の両方に関する深い特徴(データサンプルから得られた)の間に大きなギャップがあるため、依然として大きな課題である。 本稿では, 深部特徴と構造化知識グラフの間で情報をより効果的に交換できるように, ハイブリッド学習を実現するために, 新たなEGLayer(Epstemic Graph Layer)を開発した。 私たちのEGLayerは3つの主要な部分で構成されています。 (a) 学習した深部特徴(すなわち、深部特徴と構造化知識グラフを同じ粒度で整列させる)を通して局所原型グラフを確立するための局所グラフモジュール。 (b)局所グラフから有用な情報を集約し、それらの表現を用いて、最終予測のためにグローバルノード埋め込みとの類似性を計算するクエリ集約モデル (c) 局所的および大域的隣接行列間の線形整合性を制限する新しい相関損失関数。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
  本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。 特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。 その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
  論文  参考訳（メタデータ） (2024-05-09T08:28:12Z)
• Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain [18.165807360855435]
  グラフニューラルネットワーク(GNN)は、人間の脳ネットワークと表現型を区別するための動的機能接続の学習において、有望であることを示している。 本稿では,計算機ビジョンにおけるJEPA(Joint Embedding Predictive Architecture)からインスピレーションを得た,時空間連成型自動エンコーダ(ST-JEMA)について紹介する。
  論文  参考訳（メタデータ） (2024-03-11T04:49:41Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• A Comprehensive Survey on Deep Graph Representation Learning [26.24869157855632]
  グラフ表現学習は、高次元スパースグラフ構造化データを低次元密度ベクトルに符号化することを目的としている。 従来の手法ではモデル能力に制限があり、学習性能に制限がある。 深層グラフ表現学習は、浅い(伝統的な)方法よりも大きな可能性と利点を示している。
  論文  参考訳（メタデータ） (2023-04-11T08:23:52Z)
• Concept Discovery for Fast Adapatation [42.81705659613234]
  データ特徴間の構造をメタラーニングすることで、より効果的な適応を実現する。 提案手法は,概念ベースモデル非依存メタラーニング(COMAML)を用いて,合成されたデータセットと実世界のデータセットの両方に対して,構造化データの一貫した改善を実現する。
  論文  参考訳（メタデータ） (2023-01-19T02:33:58Z)
• Semantic Enhanced Knowledge Graph for Large-Scale Zero-Shot Learning [74.6485604326913]
  我々は、専門知識とカテゴリ意味相関の両方を含む新しい意味強化知識グラフを提供する。 知識グラフの情報伝達のために,Residual Graph Convolutional Network (ResGCN)を提案する。 大規模画像Net-21KデータセットとAWA2データセットを用いた実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-26T13:18:36Z)
• GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
  Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。 我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。 学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
  論文  参考訳（メタデータ） (2022-12-07T10:19:39Z)
• Graph Representation Learning by Ensemble Aggregating Subgraphs via Mutual Information Maximization [5.419711903307341]
  グラフニューラルネットワークが学習するグラフレベルの表現を高めるための自己監視型学習法を提案する。 グラフ構造を網羅的に理解するために,サブグラフ法のようなアンサンブル学習を提案する。 また, 効率的かつ効果的な対位学習を実現するために, ヘッドテールコントラストサンプル構築法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:12Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。