論文の概要: FiGURe: Simple and Efficient Unsupervised Node Representations with Filter Augmentations

• arxiv url: http://arxiv.org/abs/2310.01892v1
• Date: Tue, 3 Oct 2023 08:54:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 16:57:12.183907
• Title: FiGURe: Simple and Efficient Unsupervised Node Representations with Filter Augmentations
• Title（参考訳）: FiGURe:フィルタ拡張によるシンプルで効率的な教師なしノード表現
• Authors: Chanakya Ekbote, Ajinkya Pankaj Deshpande, Arun Iyer, Ramakrishna Bairi, Sundararajan Sellamanickam
• Abstract要約: 本稿では,固有スペクトルの異なる部分を取得するための簡易なフィルタに基づく拡張法を提案する。 これらの異なるフィルタをまたいで同じ重みを共有することは可能であり、計算負荷を低減できることを示す。 さらに、従来の研究では、下流タスクでの優れたパフォーマンスには高次元表現が必要であることが示されている。
• 参考スコア（独自算出の注目度）: 1.9922905420195374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised node representations learnt using contrastive learning-based methods have shown good performance on downstream tasks. However, these methods rely on augmentations that mimic low-pass filters, limiting their performance on tasks requiring different eigen-spectrum parts. This paper presents a simple filter-based augmentation method to capture different parts of the eigen-spectrum. We show significant improvements using these augmentations. Further, we show that sharing the same weights across these different filter augmentations is possible, reducing the computational load. In addition, previous works have shown that good performance on downstream tasks requires high dimensional representations. Working with high dimensions increases the computations, especially when multiple augmentations are involved. We mitigate this problem and recover good performance through lower dimensional embeddings using simple random Fourier feature projections. Our method, FiGURe achieves an average gain of up to 4.4\%, compared to the state-of-the-art unsupervised models, across all datasets in consideration, both homophilic and heterophilic. Our code can be found at: https://github.com/microsoft/figure.
• Abstract（参考訳）: 比較学習に基づく手法を用いて学習した教師なしノード表現は、下流タスクで優れた性能を示した。 しかし、これらの手法は低域フィルタを模倣する拡張に依存し、固有スペクトルの異なる部分を必要とするタスクでの性能を制限する。 本稿では,固有スペクトルの異なる部分を取り込む単純なフィルタベース拡張法を提案する。 これらの拡張による大幅な改善を示す。 さらに,これら異なるフィルタにまたがる重みの共有が可能であり,計算負荷を低減できることを示す。 さらに、従来の研究では、下流タスクの性能は高次元表現を必要とすることが示されている。 高次元での作業は、特に複数の拡張が関与する場合、計算量を増加させる。 この問題を緩和し、単純なランダムフーリエ特徴射影を用いて低次元埋め込みにより良好な性能を回復する。 提案手法は,同好性および異好性の両方を考慮した全データセットにおいて,最先端の教師なしモデルと比較して平均4.4 %まで向上する。 私たちのコードは以下の通りです。

関連論文リスト

• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
  モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。 本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:55Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Graph filtering over expanding graphs [14.84852576248587]
  本稿では,拡張グラフ上のデータに対するフィルタ学習手法を提案する。 正確なトポロジに依存するベースラインと比較して,ほぼ最適性能を示す。 これらの知見は、接続モデルのみに依存することにより、グラフの拡張よりも表現を学習するための基礎を築いた。
  論文  参考訳（メタデータ） (2022-03-15T16:50:54Z)
• Jointly Learnable Data Augmentations for Self-Supervised GNNs [0.311537581064266]
  本稿では,グラフ表現学習のための自己教師型学習手法であるGraphSurgeonを提案する。 学習可能なデータ拡張の柔軟性を活用し、埋め込み空間で強化する新しい戦略を導入する。 その結果,GraphSurgeonは6つのSOTA半教師付きベースラインに匹敵し,ノード分類タスクにおける5つのSOTA自己教師付きベースラインに匹敵することがわかった。
  論文  参考訳（メタデータ） (2021-08-23T21:33:12Z)
• Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions [11.769185588579488]
  本稿では,アクセル実装に適した特性とともに,メモリ消費と遅延を低減した最先端性能を示す。 提案手法は,エッジ数に比例するメモリを必要とする競合手法とは対照的に,グラフ内の頂点数に比例するメモリを用いる。 GNNが表現力を大幅に高める技術であるアグリゲーター融合を提案し、標準のスパース行列乗算よりも19%の遅延がわずかに増加している。
  論文  参考訳（メタデータ） (2021-04-03T20:54:36Z)
• MAGNeto: An Efficient Deep Learning Method for the Extractive Tags Summarization Problem [0.0]
  抽出タグ要約(ETS)と呼ばれる新しい画像アノテーションタスクについて検討する。 ゴールは、画像とその対応するタグに横たわるコンテキストから重要なタグを抽出することである。 提案手法は,畳み込み層や自己注意層など,広く使用されているブロックで構成されている。
  論文  参考訳（メタデータ） (2020-11-09T11:34:21Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。