論文の概要: HAT-GAE: Self-Supervised Graph Auto-encoders with Hierarchical Adaptive Masking and Trainable Corruption

• arxiv url: http://arxiv.org/abs/2301.12063v1
• Date: Sat, 28 Jan 2023 02:43:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 19:12:35.704273
• Title: HAT-GAE: Self-Supervised Graph Auto-encoders with Hierarchical Adaptive Masking and Trainable Corruption
• Title（参考訳）: HAT-GAE:階層型適応型マスキングとトレーニング可能な破壊を備えた自己監督型グラフ自動エンコーダ
• Authors: Chengyu Sun
• Abstract要約: グラフ表現学習のための新しいオートエンコーダモデルを提案する。 このモデルには階層型適応マスキング機構が組み込まれ,トレーニングの難易度を漸進的に向上させる。 提案手法が最先端のグラフ表現学習モデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.76146285961466
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Self-supervised auto-encoders have emerged as a successful framework for representation learning in computer vision and natural language processing in recent years, However, their application to graph data has been met with limited performance due to the non-Euclidean and complex structure of graphs in comparison to images or text, as well as the limitations of conventional auto-encoder architectures. In this paper, we investigate factors impacting the performance of auto-encoders on graph data and propose a novel auto-encoder model for graph representation learning. Our model incorporates a hierarchical adaptive masking mechanism to incrementally increase the difficulty of training in order to mimic the process of human cognitive learning, and a trainable corruption scheme to enhance the robustness of learned representations. Through extensive experimentation on ten benchmark datasets, we demonstrate the superiority of our proposed method over state-of-the-art graph representation learning models.
• Abstract（参考訳）: 近年,コンピュータビジョンや自然言語処理における表現学習のフレームワークとして自己教師付きオートエンコーダが登場しているが,画像やテキストと比較して非ユークリッド的かつ複雑なグラフ構造や,従来のオートエンコーダアーキテクチャの制限により,グラフデータへの応用は限られた性能で達成されている。 本稿では,グラフデータに対する自動エンコーダの性能に影響する要因を調査し,グラフ表現学習のための新しい自動エンコーダモデルを提案する。 本モデルでは,階層的適応マスク機構を取り入れ,人間の認知学習の過程を模倣する訓練の難しさを段階的に高め,学習表現のロバスト性を高めるための学習可能な腐敗スキームを具体化する。 10個のベンチマークデータセットの広範な実験を通じて,提案手法が最先端グラフ表現学習モデルよりも優れていることを示す。

関連論文リスト

• Incremental Learning with Concept Drift Detection and Prototype-based Embeddings for Graph Stream Classification [11.811637154674939]
  本研究は,グラフストリーム分類の新しい手法を提案する。 データ生成プロセスは、時間とともにさまざまなノードとエッジを持つグラフを生成する。 ドリフトの検出時にグラフプロトタイプを再計算するために、ロスベースのコンセプトドリフト検出機構が組み込まれている。
  論文  参考訳（メタデータ） (2024-04-03T08:47:32Z)
• Variational Graph Auto-Encoder Based Inductive Learning Method for Semi-Supervised Classification [10.497590357666114]
  帰納的グラフ表現学習のための自己ラベル拡張VGAEモデルを提案する。 学習にラベル情報を活用するため,本モデルではノードラベルをワンホット符号化入力とし,モデルトレーニングにおいてラベル再構成を行う。 提案したモデルアーカイブは、セミ教師付き学習環境下でのノード分類において、特に優越する結果を約束する。
  論文  参考訳（メタデータ） (2024-03-26T08:59:37Z)
• CogCoM: Train Large Vision-Language Models Diving into Details through Chain of Manipulations [61.21923643289266]
  カオス・オブ・マニピュレーション(Chain of Manipulations)は、視覚言語モデル(Vision-Language Models)が、エビデンスを段階的に解決するメカニズムである。 トレーニング後、モデルは外部ツールを介さずに、本質的な操作(グラウンド、ズームインなど)を積極的に行うことで、様々な視覚的問題を解決することができる。 トレーニングされたモデルである textbfCogCoM は、4つのカテゴリの9つのベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-02-06T18:43:48Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
  我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
  論文  参考訳（メタデータ） (2022-11-23T19:27:48Z)
• Graph-based Neural Modules to Inspect Attention-based Architectures: A Position Paper [0.0]
  encoder-decoderモデルは、モデルウェイトに暗黙的に表される知識の人間による可視化と編集のためのエキサイティングな機会を提供する。 本研究では,ネットワークセグメントを双方向グラフベース表現として抽象化する方法を探究する。 このような双方向グラフ表現は、エンコーダデコーダのパターン認識機能と、グラフ上で実行されるシンボリック推論を活用することにより、新しいニューロシンボリックシステムを実現する。
  論文  参考訳（メタデータ） (2022-10-13T15:52:12Z)
• GraphMAE: Self-Supervised Masked Graph Autoencoders [52.06140191214428]
  本稿では,自己教師付きグラフ学習における課題を軽減するマスク付きグラフオートエンコーダGraphMAEを提案する。 我々は3つの異なるグラフ学習タスクに対して、21の公開データセットに関する広範な実験を行った。 その結果,GraphMAEはグラフオートエンコーダであり,設計に注意を払っている。
  論文  参考訳（メタデータ） (2022-05-22T11:57:08Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Adaptive Graph Auto-Encoder for General Data Clustering [90.8576971748142]
  グラフベースのクラスタリングは、クラスタリング領域において重要な役割を果たす。 グラフ畳み込みニューラルネットワークに関する最近の研究は、グラフ型データにおいて驚くべき成功を収めている。 本稿では,グラフの生成的視点に応じて適応的にグラフを構成する汎用データクラスタリングのためのグラフ自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-02-20T10:11:28Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。