論文の概要: Epistemic Graph: A Plug-And-Play Module For Hybrid Representation Learning

• arxiv url: http://arxiv.org/abs/2305.18731v3
• Date: Wed, 6 Dec 2023 06:09:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 19:03:57.791559
• Title: Epistemic Graph: A Plug-And-Play Module For Hybrid Representation Learning
• Title（参考訳）: epistemic graph:ハイブリッド表現学習のためのプラグアンドプレイモジュール
• Authors: Jin Yuan, Yang Zhang, Yangzhou Du, Zhongchao Shi, Xin Geng, Jianping Fan, Yong Rui
• Abstract要約: 人間はハイブリッド学習を示し、クロスドメイン認識のための構造化された知識をシームレスに統合したり、少量の学習のために少量のデータサンプルに依存する。 本稿では, 深部特徴と構造化知識グラフ間の情報交換を促進し, ハイブリッド学習を実現するための新しいエピステミックグラフ層(EGLayer)を提案する。
• 参考スコア（独自算出の注目度）: 46.48026220464475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, deep models have achieved remarkable success in various vision tasks. However, their performance heavily relies on large training datasets. In contrast, humans exhibit hybrid learning, seamlessly integrating structured knowledge for cross-domain recognition or relying on a smaller amount of data samples for few-shot learning. Motivated by this human-like epistemic process, we aim to extend hybrid learning to computer vision tasks by integrating structured knowledge with data samples for more effective representation learning. Nevertheless, this extension faces significant challenges due to the substantial gap between structured knowledge and deep features learned from data samples, encompassing both dimensions and knowledge granularity. In this paper, a novel Epistemic Graph Layer (EGLayer) is introduced to enable hybrid learning, enhancing the exchange of information between deep features and a structured knowledge graph. Our EGLayer is composed of three major parts, including a local graph module, a query aggregation model, and a novel correlation alignment loss function to emulate human epistemic ability. Serving as a plug-and-play module that can replace the standard linear classifier, EGLayer significantly improves the performance of deep models. Extensive experiments demonstrates that EGLayer can greatly enhance representation learning for the tasks of cross-domain recognition and few-shot learning, and the visualization of knowledge graphs can aid in model interpretation.
• Abstract（参考訳）: 近年、深層モデルは様々な視覚課題で顕著な成功を収めている。 しかし、そのパフォーマンスは大規模なトレーニングデータセットに大きく依存している。 対照的に、人間はハイブリッド学習を示し、クロスドメイン認識のために構造化された知識をシームレスに統合するか、少数の学習のために少量のデータサンプルに依存する。 本研究の目的は,より効果的な表現学習のために,構造化知識とデータサンプルを統合することで,ハイブリッド学習をコンピュータビジョンタスクに拡張することである。 それでもこの拡張は、構造化された知識とデータサンプルから学んだ深い特徴の間に、次元と知識の粒度の両方を包含する大きなギャップがあるため、重大な課題に直面している。 本稿では,新しい認識グラフ層(eglayer)を導入し,深層特徴と構造化ナレッジグラフ間の情報交換を強化し,ハイブリッド学習を可能にした。 EGLayerは局所グラフモジュール,クエリアグリゲーションモデル,およびヒトのてんかん能力をエミュレートする新しい相関アライメント・アライメント・ロス関数を含む3つの主要部分から構成される。 標準的な線形分類器を置き換えるプラグイン・アンド・プレイモジュールとして機能するEGLayerは、ディープモデルの性能を大幅に改善する。 広範囲な実験により、EGLayerはクロスドメイン認識や少数ショット学習のタスクに対する表現学習を大幅に強化でき、知識グラフの可視化はモデルの解釈に役立つことが示されている。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
  本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。 特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。 その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
  論文  参考訳（メタデータ） (2024-05-09T08:28:12Z)
• Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain [18.165807360855435]
  グラフニューラルネットワーク(GNN)は、人間の脳ネットワークと表現型を区別するための動的機能接続の学習において、有望であることを示している。 本稿では,計算機ビジョンにおけるJEPA(Joint Embedding Predictive Architecture)からインスピレーションを得た,時空間連成型自動エンコーダ(ST-JEMA)について紹介する。
  論文  参考訳（メタデータ） (2024-03-11T04:49:41Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• A Comprehensive Survey on Deep Graph Representation Learning [26.24869157855632]
  グラフ表現学習は、高次元スパースグラフ構造化データを低次元密度ベクトルに符号化することを目的としている。 従来の手法ではモデル能力に制限があり、学習性能に制限がある。 深層グラフ表現学習は、浅い(伝統的な)方法よりも大きな可能性と利点を示している。
  論文  参考訳（メタデータ） (2023-04-11T08:23:52Z)
• Concept Discovery for Fast Adapatation [42.81705659613234]
  データ特徴間の構造をメタラーニングすることで、より効果的な適応を実現する。 提案手法は,概念ベースモデル非依存メタラーニング(COMAML)を用いて,合成されたデータセットと実世界のデータセットの両方に対して,構造化データの一貫した改善を実現する。
  論文  参考訳（メタデータ） (2023-01-19T02:33:58Z)
• Semantic Enhanced Knowledge Graph for Large-Scale Zero-Shot Learning [74.6485604326913]
  我々は、専門知識とカテゴリ意味相関の両方を含む新しい意味強化知識グラフを提供する。 知識グラフの情報伝達のために,Residual Graph Convolutional Network (ResGCN)を提案する。 大規模画像Net-21KデータセットとAWA2データセットを用いた実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-26T13:18:36Z)
• GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
  Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。 我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。 学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
  論文  参考訳（メタデータ） (2022-12-07T10:19:39Z)
• Graph Representation Learning by Ensemble Aggregating Subgraphs via Mutual Information Maximization [5.419711903307341]
  グラフニューラルネットワークが学習するグラフレベルの表現を高めるための自己監視型学習法を提案する。 グラフ構造を網羅的に理解するために,サブグラフ法のようなアンサンブル学習を提案する。 また, 効率的かつ効果的な対位学習を実現するために, ヘッドテールコントラストサンプル構築法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:12Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。