論文の概要: Pre-Trained Models for Heterogeneous Information Networks

• arxiv url: http://arxiv.org/abs/2007.03184v2
• Date: Tue, 18 May 2021 09:53:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 18:11:54.511736
• Title: Pre-Trained Models for Heterogeneous Information Networks
• Title（参考訳）: 不均一情報ネットワークのための事前学習モデル
• Authors: Yang Fang, Xiang Zhao, Yifan Chen, Weidong Xiao, Maarten de Rijke
• Abstract要約: 異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
• 参考スコア（独自算出の注目度）: 57.78194356302626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In network representation learning we learn how to represent heterogeneous information networks in a low-dimensional space so as to facilitate effective search, classification, and prediction solutions. Previous network representation learning methods typically require sufficient task-specific labeled data to address domain-specific problems. The trained model usually cannot be transferred to out-of-domain datasets. We propose a self-supervised pre-training and fine-tuning framework, PF-HIN, to capture the features of a heterogeneous information network. Unlike traditional network representation learning models that have to train the entire model all over again for every downstream task and dataset, PF-HIN only needs to fine-tune the model and a small number of extra task-specific parameters, thus improving model efficiency and effectiveness. During pre-training, we first transform the neighborhood of a given node into a sequence. PF-HIN is pre-trained based on two self-supervised tasks, masked node modeling and adjacent node prediction. We adopt deep bi-directional transformer encoders to train the model, and leverage factorized embedding parameterization and cross-layer parameter sharing to reduce the parameters. In the fine-tuning stage, we choose four benchmark downstream tasks, i.e., link prediction, similarity search, node classification, and node clustering. PF-HIN consistently and significantly outperforms state-of-the-art alternatives on each of these tasks, on four datasets.
• Abstract（参考訳）: ネットワーク表現学習では,ヘテロジニアスな情報ネットワークを低次元空間で表現する方法を学習し,効率的な探索,分類,予測を容易にする。 従来のネットワーク表現学習手法では、ドメイン固有の問題に対処するために十分なタスク固有のラベル付きデータが必要である。 トレーニングされたモデルは、通常、ドメイン外データセットに転送できない。 我々は、異種情報ネットワークの特徴を捉えるための自己教師付き事前学習および微調整フレームワークPF-HINを提案する。 ダウンストリームのタスクとデータセットごとにモデル全体をトレーニングしなければならない従来のネットワーク表現学習モデルとは異なり、PF-HINはモデルと少数のタスク固有のパラメータを微調整するだけで、モデル効率と効率性が向上する。 事前学習中、我々はまず与えられたノードの近傍をシーケンスに変換する。 PF-HINは2つの自己教師付きタスク、マスキングノードモデリング、隣接ノード予測に基づいて事前訓練される。 モデルのトレーニングには深層双方向トランスフォーマーエンコーダを採用し、パラメータの削減には分解型埋め込みパラメータ化と層間パラメータ共有を利用する。 微調整の段階では、リンク予測、類似性検索、ノード分類、ノードクラスタリングという4つのベンチマークダウンストリームタスクを選択します。 pf-hinは、これら各タスクにおける最先端の代替手段を4つのデータセットで一貫して大幅に上回っている。

関連論文リスト

• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
  ディープニューラルネットワークが従来の機械学習より優れていることが示されている。 ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
  論文  参考訳（メタデータ） (2022-06-27T15:46:05Z)
• Transfer Learning with Convolutional Networks for Atmospheric Parameter Retrieval [14.131127382785973]
  MetOp衛星シリーズに搭載された赤外線音波干渉計(IASI)は、数値気象予測(NWP)に重要な測定値を提供する IASIが提供する生データから正確な大気パラメータを取得することは大きな課題であるが、NWPモデルでデータを使用するには必要である。 本研究では,iasiデータから抽出した特徴を,低い高度で異なる物理変数を予測するように設計された別の統計手法への入力として使用できることを示す。
  論文  参考訳（メタデータ） (2020-12-09T09:28:42Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。