論文の概要: ReSi: A Comprehensive Benchmark for Representational Similarity Measures
- arxiv url: http://arxiv.org/abs/2408.00531v1
- Date: Thu, 1 Aug 2024 13:08:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-04 20:36:37.936728
- Title: ReSi: A Comprehensive Benchmark for Representational Similarity Measures
- Title（参考訳）: ReSi: 表現類似度尺度の総合ベンチマーク
- Authors: Max Klabunde, Tassilo Wald, Tobias Schumacher, Klaus Maier-Hein, Markus Strohmaier, Florian Lemmerich,
- Abstract要約: 本稿では,表現類似度評価のための最初の総合的ベンチマークを提案する。
表現類似度(ReSi)ベンチマークは、(i)類似度測定のための慎重に設計された6つのテスト、(ii)23の類似度測定、(iii)ニューラルネットワークアーキテクチャー、(iv)グラフ、言語、ビジョンドメインにまたがる6つのデータセットからなる。
- 参考スコア（独自算出の注目度）: 2.3532263743300432
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Measuring the similarity of different representations of neural architectures is a fundamental task and an open research challenge for the machine learning community. This paper presents the first comprehensive benchmark for evaluating representational similarity measures based on well-defined groundings of similarity. The representational similarity (ReSi) benchmark consists of (i) six carefully designed tests for similarity measures, (ii) 23 similarity measures, (iii) eleven neural network architectures, and (iv) six datasets, spanning over the graph, language, and vision domains. The benchmark opens up several important avenues of research on representational similarity that enable novel explorations and applications of neural architectures. We demonstrate the utility of the ReSi benchmark by conducting experiments on various neural network architectures, real world datasets and similarity measures. All components of the benchmark are publicly available and thereby facilitate systematic reproduction and production of research results. The benchmark is extensible, future research can build on and further expand it. We believe that the ReSi benchmark can serve as a sound platform catalyzing future research that aims to systematically evaluate existing and explore novel ways of comparing representations of neural architectures.
- Abstract（参考訳）: ニューラルネットワークの異なる表現の類似性を測定することは、機械学習コミュニティにとって基本的な課題であり、オープンな研究課題である。
本稿では, 類似度を適切に定義した根拠に基づく表現類似度評価のための, 初めての総合的ベンチマークを提案する。
表現類似性(ReSi)ベンチマークは、
一 類似度対策の精巧な6つの試験
(ii)類似度対策23
(三)11のニューラルネットワークアーキテクチャ、及び
(iv)グラフ、言語、ビジョンドメインにまたがる6つのデータセット。
このベンチマークは、新しい探索とニューラルアーキテクチャの応用を可能にする表現的類似性に関するいくつかの重要な研究の道を開く。
本稿では,ReSiベンチマークの有用性を,ニューラルネットワークアーキテクチャ,実世界のデータセット,類似度測定実験により実証する。
ベンチマークのすべてのコンポーネントは公開されており、研究結果の体系的な再現と生産を容易にする。
ベンチマークは拡張可能で、将来の研究がさらに強化される可能性がある。
ReSiベンチマークは,ニューラルアーキテクチャの表現を体系的に評価し,新しい表現方法を検討することを目的とした,将来の研究を触媒する健全なプラットフォームとして機能すると考えている。
関連論文リスト
- Evaluating Representational Similarity Measures from the Lens of Functional Correspondence [1.7811840395202345]
神経科学と人工知能(AI)はどちらも、高次元のニューラルネットワークの解釈という課題に直面している。
表象比較が広く使われているにもかかわらず、重要な疑問が残る: どの指標がこれらの比較に最も適しているのか?
論文 参考訳（メタデータ） (2024-11-21T23:53:58Z) - Dynamical similarity analysis uniquely captures how computations develop in RNNs [3.037387520023979]
最近の研究では、いくつかの指標が刺激的なシグナルに反応し、誤った結果をもたらすことが示されている。
本稿では、リカレントニューラルネットワーク(RNN)における合成学習により、動的表現アライメントメトリクスのテストケースを提供できることを提案する。
最近提案された動的類似性解析 (DSA) は, より頑健で, 行動関連表現を確実に識別できることを示す。
論文 参考訳（メタデータ） (2024-10-31T16:07:21Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳（メタデータ） (2023-08-28T12:55:13Z) - Similarity of Neural Network Models: A Survey of Functional and Representational Measures [2.56552999376511]
ニューラルネットワークの類似性を計測して、その振る舞いを理解し、改善することは、非常に重要で研究上の関心事となっている。
ニューラルネットワークの類似性を測定するための2つの相補的視点について概説する: (i) 中間層の活性化の相違を考察する表現的類似性、 (ii) 機能的類似性、そしてモデルが出力の相違を考察する。
論文 参考訳（メタデータ） (2023-05-10T17:33:48Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z) - Benchmarking the Benchmark -- Analysis of Synthetic NIDS Datasets [4.125187280299247]
我々は,より最近で関連する3つのNIDSデータセットにおいて,良性トラフィックの統計的性質を解析した。
以上の結果から,合成データセットと実世界の2つのデータセットの統計的特徴の相違が明らかとなった。
論文 参考訳（メタデータ） (2021-04-19T03:17:37Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural
Summarization Systems [121.78477833009671]
データセット間設定下での様々な要約モデルの性能について検討する。
異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
論文 参考訳（メタデータ） (2020-10-11T02:19:15Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Heterogeneous Network Representation Learning: A Unified Framework with
Survey and Benchmark [57.10850350508929]
我々は、異種ネットワーク埋め込み(HNE)に関する既存の研究を要約し、評価するための統一的なフレームワークを提供することを目指している。
最初のコントリビューションとして、既存のHNEアルゴリズムのメリットを体系的に分類し分析するための一般的なパラダイムを提供する。
第2のコントリビューションとして、さまざまなソースから、スケール、構造、属性/ラベルの可用性などに関するさまざまな特性を備えた4つのベンチマークデータセットを作成します。
第3のコントリビューションとして、13の人気のあるHNEアルゴリズムに対するフレンドリなインターフェースを作成し、複数のタスクと実験的な設定に対して、それらの全周比較を提供する。
論文 参考訳（メタデータ） (2020-04-01T03:42:11Z) - Similarity of Neural Networks with Gradients [8.804507286438781]
本稿では,特徴ベクトルと勾配ベクトルの両方を利用してニューラルネットワークの表現を設計することを提案する。
提案手法はニューラルネットワークの類似性を計算するための最先端の手法を提供する。
論文 参考訳（メタデータ） (2020-03-25T17:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。