論文の概要: Representation Topology Divergence: A Method for Comparing Neural Network Representations

• arxiv url: http://arxiv.org/abs/2201.00058v1
• Date: Fri, 31 Dec 2021 21:08:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 14:47:50.439874
• Title: Representation Topology Divergence: A Method for Comparing Neural Network Representations
• Title（参考訳）: 表現トポロジの多様性:ニューラルネットワークの表現を比較する方法
• Authors: Serguei Barannikov, Ilya Trofimov, Nikita Balabin, Evgeny Burnaev
• Abstract要約: そこで我々は,Top Representationology Divergence (RTD, Top Representationology Divergence)を導入する。 実験の結果,提案したRTDはデータ表現類似性の直感的な評価と一致し,そのトポロジ的構造に敏感であることがわかった。
• 参考スコア（独自算出の注目度）: 10.74105109486386
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Comparison of data representations is a complex multi-aspect problem that has not enjoyed a complete solution yet. We propose a method for comparing two data representations. We introduce the Representation Topology Divergence (RTD), measuring the dissimilarity in multi-scale topology between two point clouds of equal size with a one-to-one correspondence between points. The data point clouds are allowed to lie in different ambient spaces. The RTD is one of the few TDA-based practical methods applicable to real machine learning datasets. Experiments show that the proposed RTD agrees with the intuitive assessment of data representation similarity and is sensitive to its topological structure. We apply RTD to gain insights on neural networks representations in computer vision and NLP domains for various problems: training dynamics analysis, data distribution shift, transfer learning, ensemble learning, disentanglement assessment.
• Abstract（参考訳）: データ表現の比較は、まだ完全なソリューションを享受していない複雑な多重アスペクト問題である。 本稿では,2つのデータ表現を比較する手法を提案する。 表現トポロジ発散(rtd)を導入し、同じ大きさの2つの点雲間の多スケールトポロジーの相似性を測定し、各点間の1対1対応を示す。 データポイント雲は、異なる環境空間に横たわることが許されている。 RTDは、実際の機械学習データセットに適用可能な数少ないTDAベースの実践手法の1つである。 実験の結果,rtdはデータ表現の類似性を直感的に評価し,その位相構造に敏感であることがわかった。 学習ダイナミクス解析,データ分散シフト,転送学習,アンサンブル学習,絡み合い評価など,様々な問題に対して,コンピュータビジョンとnlpドメインのニューラルネットワーク表現に関する洞察を得るためにrtdを適用した。

関連論文リスト

• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Learning Topology-Preserving Data Representations [9.710409273484464]
  位相保存データ表現(次元減少)を学習する手法を提案する。 この手法の中核は、元の高次元データと潜時空間における低次元表現との間の表現トポロジディバージェンス(RTD)の最小化である。 提案手法は, 線形相関, 三重項距離ランキング精度, 永続バーコード間のワッサーシュタイン距離によって測定された, 最先端の競合相手よりも, データ多様体のグローバル構造とトポロジーをよりよく保存する。
  論文  参考訳（メタデータ） (2023-01-31T22:55:04Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
  本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。 クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。 MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
  論文  参考訳（メタデータ） (2021-06-08T00:30:43Z)
• Consistent Representation Learning for High Dimensional Data Analysis [30.122549443821974]
  高次元データ分析には、次元削減、クラスタリング、可視化の3つの基本的なタスクが含まれる。 3つの関連するタスクが別々に実行されると、矛盾が生じます。 本稿では,3つのタスクをエンドツーエンドに実行するために,Consistent Representation Learningと呼ばれるニューラルネットワークに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-12-01T13:39:50Z)
• Manifold Partition Discriminant Analysis [42.11470531267327]
  本稿では,MPDA (Manifold Partition Discriminant Analysis) という,ディメンタリティ低減のための新しいアルゴリズムを提案する。 これは、データ多様体の局所的変動と一致する方向に沿ってクラス内類似性が達成される線形埋め込み空間を見つけることを目的としている。 MPDAは接空間の接続を明示的にパラメータ化し、データ多様体を断片的に表現する。
  論文  参考訳（メタデータ） (2020-11-23T16:33:23Z)
• DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
  人-物間相互作用(HOI)検出の課題に対処する。 既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。 本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:40Z)
• Similarity of Neural Networks with Gradients [8.804507286438781]
  本稿では,特徴ベクトルと勾配ベクトルの両方を利用してニューラルネットワークの表現を設計することを提案する。 提案手法はニューラルネットワークの類似性を計算するための最先端の手法を提供する。
  論文  参考訳（メタデータ） (2020-03-25T17:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。