論文の概要: Measuring Memorization Effect in Word-Level Neural Networks Probing

• arxiv url: http://arxiv.org/abs/2006.16082v1
• Date: Mon, 29 Jun 2020 14:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 14:41:02.562874
• Title: Measuring Memorization Effect in Word-Level Neural Networks Probing
• Title（参考訳）: 単語レベルニューラルネットワーク探索における記憶効果の測定
• Authors: Rudolf Rosa, Tom\'a\v{s} Musil, David Mare\v{c}ek
• Abstract要約: そこで,本研究では,学習における目に見える単語と見えない単語の対称選択に基づいて,記憶効果を簡易に測定する手法を提案する。 提案手法は, 探索装置で発生した記憶量の定量化に有効であり, 適切な設定が選択可能であり, 検証結果が信頼性推定値で解釈可能である。
• 参考スコア（独自算出の注目度）: 0.9156064716689833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple studies have probed representations emerging in neural networks trained for end-to-end NLP tasks and examined what word-level linguistic information may be encoded in the representations. In classical probing, a classifier is trained on the representations to extract the target linguistic information. However, there is a threat of the classifier simply memorizing the linguistic labels for individual words, instead of extracting the linguistic abstractions from the representations, thus reporting false positive results. While considerable efforts have been made to minimize the memorization problem, the task of actually measuring the amount of memorization happening in the classifier has been understudied so far. In our work, we propose a simple general method for measuring the memorization effect, based on a symmetric selection of comparable sets of test words seen versus unseen in training. Our method can be used to explicitly quantify the amount of memorization happening in a probing setup, so that an adequate setup can be chosen and the results of the probing can be interpreted with a reliability estimate. We exemplify this by showcasing our method on a case study of probing for part of speech in a trained neural machine translation encoder.
• Abstract（参考訳）: 複数の研究は、エンドツーエンドのNLPタスクのために訓練されたニューラルネットワークに現れる表現を探索し、表現にどの単語レベルの言語情報がエンコードされるかを検討した。 古典的探索において、分類器は対象の言語情報を抽出するために表現に基づいて訓練される。 しかし、表現から言語的抽象化を抽出する代わりに、個々の単語の言語ラベルを単に記憶するだけで、偽陽性の結果が報告されるという脅しがある。 暗記問題を最小化するためにかなりの努力がなされているが、分類器内で発生した暗記量を実際に測定する作業は、これまで検討されてきた。 そこで,本研究では,学習において見つからない比較テストワードの対称選択に基づいて,記憶効果を簡易に測定する手法を提案する。 提案手法は, 探索装置で発生した記憶量の定量化に有効であり, 適切な設定が選択可能であり, 検証結果が信頼性推定値で解釈可能である。 訓練されたニューラルマシン翻訳エンコーダにおける音声の一部を探索するケーススタディに,本手法を例示することにより,これを実証する。

関連論文リスト

• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Unsupervised Multimodal Word Discovery based on Double Articulation Analysis with Co-occurrence cues [7.332652485849632]
  ヒトの幼児は、言語に関する最小限の事前知識で口頭語彙を取得する。 本研究では,音声単位を発見するための教師なし学習手法を提案する。 提案手法は教師なし学習を用いて音声信号から単語と音素を取得することができる。
  論文  参考訳（メタデータ） (2022-01-18T07:31:59Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• A comprehensive empirical analysis on cross-domain semantic enrichment for detection of depressive language [0.9749560288448115]
  まず、大規模な汎用データセットから事前トレーニングされたリッチな単語の埋め込みから始め、シンプルな非線形マッピングメカニズムを通じて、はるかに小さく、より特定のドメインデータセットから学んだ埋め込みで拡張します。 単語の埋め込み表現は,高品質なデータセットに適用した場合に,他よりもはるかに優れたF1スコアが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-24T07:15:09Z)
• Discrete representations in neural models of spoken language [56.29049879393466]
  音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。 異なる評価指標が矛盾する結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2021-05-12T11:02:02Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)
• Probing the Probing Paradigm: Does Probing Accuracy Entail Task Relevance? [27.64235687067883]
  モデルが訓練されたタスクに必要のないモデルでも,言語特性の符号化を学習できることが示される。 ランダムノイズとしてデータに分散しても,これらの特性を確率レベルよりかなり上まで符号化できることを示す。
  論文  参考訳（メタデータ） (2020-05-02T06:19:20Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。