論文の概要: Semi-supervised Network Embedding with Differentiable Deep Quantisation

• arxiv url: http://arxiv.org/abs/2108.09128v1
• Date: Fri, 20 Aug 2021 11:53:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-23 18:21:53.809011
• Title: Semi-supervised Network Embedding with Differentiable Deep Quantisation
• Title（参考訳）: 微分可能な深量子化を伴う半教師付きネットワーク埋め込み
• Authors: Tao He, Lianli Gao, Jingkuan Song, Yuan-Fang Li
• Abstract要約: 我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。 トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
• 参考スコア（独自算出の注目度）: 81.49184987430333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning accurate low-dimensional embeddings for a network is a crucial task as it facilitates many downstream network analytics tasks. For large networks, the trained embeddings often require a significant amount of space to store, making storage and processing a challenge. Building on our previous work on semi-supervised network embedding, we develop d-SNEQ, a differentiable DNN-based quantisation method for network embedding. d-SNEQ incorporates a rank loss to equip the learned quantisation codes with rich high-order information and is able to substantially compress the size of trained embeddings, thus reducing storage footprint and accelerating retrieval speed. We also propose a new evaluation metric, path prediction, to fairly and more directly evaluate model performance on the preservation of high-order information. Our evaluation on four real-world networks of diverse characteristics shows that d-SNEQ outperforms a number of state-of-the-art embedding methods in link prediction, path prediction, node classification, and node recommendation while being far more space- and time-efficient.
• Abstract（参考訳）: ネットワークの正確な低次元埋め込みを学ぶことは、多くのダウンストリームネットワーク分析タスクを促進するため、重要なタスクである。 大規模なネットワークでは、トレーニング済みの埋め込みは保存するスペースをかなり必要としており、ストレージと処理は困難である。 半教師付きネットワーク埋め込みに関するこれまでの研究に基づいて、ネットワーク埋め込みのための微分可能なDNNベースの量子化法であるd-SNEQを開発した。 d-SNEQは、学習した量子化符号にリッチな高次情報を与えるためにランクロスを組み込み、トレーニング済みの埋め込みのサイズを大幅に圧縮し、ストレージフットプリントを削減し、検索速度を高速化する。 また,高次情報保存におけるモデル性能を,比較的直接的に評価するための新しい評価基準,経路予測を提案する。 本研究では,d-sneqがリンク予測,パス予測,ノード分類,ノード推薦において最先端の埋め込み手法を上回り,空間的かつ時間的効率が向上することを示す。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
  本稿では,ディープフィードフォワードニューラルネットワークのパラメータ空間におけるトレーニング可能な状態を予測する手法を提案する。 MNISTとCIFAR10の両方のデータセットに対して、トレーニングの1つのエポックが、ディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T18:00:05Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Network Embedding via Deep Prediction Model [25.727377978617465]
  本稿では,深層予測モデルを用いて構造化ネットワーク上での転送挙動を捕捉するネットワーク埋め込みフレームワークを提案する。 ネットワーク構造埋め込み層は、Long Short-Term Memory NetworkやRecurrent Neural Networkなど、従来の深部予測モデルに付加される。 ソーシャルネットワーク, 引用ネットワーク, バイオメディカルネットワーク, 協調ネットワーク, 言語ネットワークなど, さまざまなデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2021-04-27T16:56:00Z)
• Towards Accurate Quantization and Pruning via Data-free Knowledge Transfer [61.85316480370141]
  我々は、訓練された大規模ネットワークからコンパクトネットワークへの知識の伝達により、データフリーな量子化とプルーニングを研究する。 データフリーなコンパクトネットワークは、トレーニングデータで訓練され、微調整されたネットワークに対して、競争精度を達成する。
  論文  参考訳（メタデータ） (2020-10-14T18:02:55Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
  本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。 提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
  論文  参考訳（メタデータ） (2020-05-10T03:20:01Z)
• Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
  本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。 より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
  論文  参考訳（メタデータ） (2020-03-23T10:29:14Z)
• EPINE: Enhanced Proximity Information Network Embedding [2.257737378757467]
  本研究では,隣接行列における貴重な情報をより深く掘り下げることに尽力した。 同じ目的のもと、多くのNE法は隣接行列のパワーによって高次近接を計算する。 より直感的に高次近接性を再定義することを提案する。
  論文  参考訳（メタデータ） (2020-03-04T15:57:17Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。