論文の概要: On the Relationship Between RNN Hidden State Vectors and Semantic Ground Truth

• arxiv url: http://arxiv.org/abs/2306.16854v1
• Date: Thu, 29 Jun 2023 11:01:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 13:48:38.333012
• Title: On the Relationship Between RNN Hidden State Vectors and Semantic Ground Truth
• Title（参考訳）: RNN隠れ状態ベクトルと意味的接地真実の関係について
• Authors: Edi Mu\v{s}kardin and Martin Tappler and Ingo Pill and Bernhard K. Aichernig and Thomas Pock
• Abstract要約: クラスタリング仮説は、現代のニューラルネットワークアーキテクチャについて徹底的に研究されていない。 十分に訓練されたRNNの隠れ状態ベクトルは分離可能であることを示す。 教師なしクラスタリング技術は、類似した状態ベクトルのクラスタを見つけることに成功している。
• 参考スコア（独自算出の注目度）: 11.245083574133224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We examine the assumption that the hidden-state vectors of recurrent neural networks (RNNs) tend to form clusters of semantically similar vectors, which we dub the clustering hypothesis. While this hypothesis has been assumed in the analysis of RNNs in recent years, its validity has not been studied thoroughly on modern neural network architectures. We examine the clustering hypothesis in the context of RNNs that were trained to recognize regular languages. This enables us to draw on perfect ground-truth automata in our evaluation, against which we can compare the RNN's accuracy and the distribution of the hidden-state vectors. We start with examining the (piecewise linear) separability of an RNN's hidden-state vectors into semantically different classes. We continue the analysis by computing clusters over the hidden-state vector space with multiple state-of-the-art unsupervised clustering approaches. We formally analyze the accuracy of computed clustering functions and the validity of the clustering hypothesis by determining whether clusters group semantically similar vectors to the same state in the ground-truth model. Our evaluation supports the validity of the clustering hypothesis in the majority of examined cases. We observed that the hidden-state vectors of well-trained RNNs are separable, and that the unsupervised clustering techniques succeed in finding clusters of similar state vectors.
• Abstract（参考訳）: 本稿では、リカレントニューラルネットワーク(RNN)の隠れ状態ベクトルが意味論的に類似したベクトルのクラスタを形成する傾向にあり、クラスタリング仮説を検証した。 この仮説は近年、RNNの分析において仮定されているが、現代のニューラルネットワークアーキテクチャにおいて、その妥当性は十分に研究されていない。 正規言語を認識するために訓練されたRNNの文脈におけるクラスタリング仮説を検討した。 これにより、RNNの精度と隠れ状態ベクトルの分布を比較することができる。 まず、RNNの隠れ状態ベクトルを意味的に異なるクラスに(部分的に線形に)分離することから始める。 我々は,複数の非教師付きクラスタリング手法を用いて,隠れ状態ベクトル空間上のクラスタ解析を継続する。 本研究では,クラスタ群が同一状態と意味的に類似しているかどうかを基底モデルで決定することにより,クラスタ関数の精度とクラスタリング仮説の有効性を正式に解析する。 本評価は, クラスタリング仮説の妥当性を, 多数例で裏付けるものである。 十分に訓練されたrnnの隠れた状態ベクトルは分離可能であり、教師なしのクラスタリング技術は類似した状態ベクトルのクラスターを見つけるのに成功している。

関連論文リスト

• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• Exploring Learned Representations of Neural Networks with Principal Component Analysis [1.0923877073891446]
  ある層では、高い精度の分類には中間的特徴空間分散の20%しか必要としない。 本研究は神経崩壊と相関し, 中間神経崩壊の関連現象の部分的証拠を提供する。
  論文  参考訳（メタデータ） (2023-09-27T00:18:25Z)
• Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
  セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。 機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。 我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
  論文  参考訳（メタデータ） (2023-01-03T13:51:51Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Path classification by stochastic linear recurrent neural networks [2.5499055723658097]
  トレーニングや分類作業に利用されるユニークな情報として,RNNが供給される経路の部分的なシグネチャを保持することを示す。 これらのRNNは訓練が容易で堅牢であり、これらの観測を合成データと実データの両方で数値実験で裏付けるものである、と我々は主張する。
  論文  参考訳（メタデータ） (2021-08-06T12:59:12Z)
• Learning to Separate Clusters of Adversarial Representations for Robust Adversarial Detection [50.03939695025513]
  本稿では,最近導入された非破壊的特徴を動機とした新しい確率的対向検出器を提案する。 本稿では,非ロバスト特徴を逆例の共通性と考え,その性質に対応する表現空間におけるクラスターの探索が可能であることを推定する。 このアイデアは、別のクラスタ内の逆表現の確率推定分布を導出し、その分布を確率に基づく逆検出器として活用する。
  論文  参考訳（メタデータ） (2020-12-07T07:21:18Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)
• NN-EVCLUS: Neural Network-based Evidential Clustering [6.713564212269253]
  本稿では,NN-EVCLUSと呼ばれるニューラルネットワークに基づく明確なクラスタリングアルゴリズムを提案する。 属性ベクトルから質量関数への写像を学習し、より類似した入力がより低い競合度を持つ質量関数の出力にマッピングされるようにする。 ネットワークは、すべてのオブジェクトまたはいくつかのオブジェクトペアの相違点と相反点の差を最小限に抑えるように訓練されている。
  論文  参考訳（メタデータ） (2020-09-27T09:05:41Z)
• The Area Under the ROC Curve as a Measure of Clustering Quality [0.0]
  Area Under the Curve for Clustering (AUCC) はクラスタリングの品質の内/相対的な尺度である。 AUCC はベーカー・アンド・ヒューバート (1975) によるガンマ基準の線型変換である。
  論文  参考訳（メタデータ） (2020-09-04T21:34:51Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• REGroup: Rank-aggregating Ensemble of Generative Classifiers for Robust Predictions [6.0162772063289784]
  敵の訓練やランダムな入力変換を採用する防衛戦略は、合理的なパフォーマンスを達成するために、モデルの再訓練や微調整を必要とするのが普通である。 中間層の神経応答を統計的に特徴付けることにより, 生成型分類器を学習し, トレーニングサンプルをクリーンにすることができる。 提案手法は, クリーントレーニングデータのサブセットと事前学習モデルを用いており, ネットワークアーキテクチャや敵攻撃生成手法に非依存である。
  論文  参考訳（メタデータ） (2020-06-18T17:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。