論文の概要: Interpreting A Pre-trained Model Is A Key For Model Architecture
Optimization: A Case Study On Wav2Vec 2.0
- arxiv url: http://arxiv.org/abs/2104.02851v1
- Date: Wed, 7 Apr 2021 01:41:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-09 00:45:45.836087
- Title: Interpreting A Pre-trained Model Is A Key For Model Architecture
Optimization: A Case Study On Wav2Vec 2.0
- Title（参考訳）: モデルアーキテクチャ最適化のための事前学習モデルの解釈 - Wav2Vec 2.0のケーススタディ
- Authors: Liu Chen, Meysam Asgari
- Abstract要約: 注意パターン分析のための革新的視点を提案する。
We leverage Wav2Vec 2.0 as a research target and analysis a pre-trained model's pattern。
私達の版は4グラム言語モデルとデコードするときまだ0.9%よりよいです。
- 参考スコア（独自算出の注目度）: 1.7056768055368383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A deep Transformer model with good evaluation score does not mean each
subnetwork (a.k.a transformer block) learns reasonable representation.
Diagnosing abnormal representation and avoiding it can contribute to achieving
a better evaluation score. We propose an innovative perspective for analyzing
attention patterns: summarize block-level patterns and assume abnormal patterns
contribute negative influence. We leverage Wav2Vec 2.0 as a research target and
analyze a pre-trained model's pattern. All experiments leverage
Librispeech-100-clean as training data. Through avoiding diagnosed abnormal
ones, our custom Wav2Vec 2.0 outperforms the original version about 4.8%
absolute word error rate (WER) on test-clean with viterbi decoding. Our version
is still 0.9% better when decoding with a 4-gram language model. Moreover, we
identify that avoiding abnormal patterns is the main contributor for
performance boosting.
- Abstract（参考訳）: 評価スコアが良いディープトランスフォーマーモデルは、各サブネットワーク(つまりトランスフォーマーブロック)が合理的な表現を学ぶという意味ではない。
異常な表現の診断と回避は、よりよい評価スコアの達成に寄与する。
ブロックレベルのパターンを要約し、異常パターンが負の影響をもたらすと仮定する。
We leverage Wav2Vec 2.0 as a research target and analysis a pre-trained model's pattern。
すべての実験はトレーニングデータとしてlibrispeech-100-cleanを活用する。
診断された異常なものを避けることで、我々のカスタムのwav2vec 2.0は、viterbi復号によるtest-cleanの約4.8%の絶対単語誤り率(wer)を上回っています。
4グラムの言語モデルでデコードする場合、バージョンは依然として0.9%改善しています。
さらに,異常パターンの回避がパフォーマンス向上の主な要因であることも確認した。
関連論文リスト
- Interpretable Temporal Class Activation Representation for Audio Spoofing Detection [7.476305130252989]
我々は、wav2vec 2.0モデルと注意的発話レベルの特徴を利用して、解釈可能性を直接モデルのアーキテクチャに統合する。
ASVspoof 2019-LAセットのEERは0.51%、min t-DCFは0.0165である。
論文 参考訳（メタデータ） (2024-06-13T05:36:01Z) - Do Language Models Learn Semantics of Code? A Case Study in
Vulnerability Detection [7.725755567907359]
我々は,解釈可能性ツール,注意分析,相互作用行列解析という3つの異なる手法を用いてモデルを解析する。
モデル入力内のバグセマンティクスをハイライトする2つのアノテーション手法を開発した。
この結果から,より複雑なパスベースのバグセマンティクスを学習する上で,モデルにバグセマンティクスの情報を提供し,モデルがそれに参加することができることを示唆した。
論文 参考訳（メタデータ） (2023-11-07T16:31:56Z) - Towards Causal Deep Learning for Vulnerability Detection [31.59558109518435]
ソフトウェア工学モデルに計算に基づく因果学習を導入する。
以上の結果から,CausalVulはモデル精度,ロバスト性,OOD性能を一貫して改善した。
論文 参考訳（メタデータ） (2023-10-12T00:51:06Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Characterizing the Optimal 0-1 Loss for Multi-class Classification with
a Test-time Attacker [57.49330031751386]
我々は,任意の離散データセット上の複数クラス分類器に対するテスト時間攻撃の存在下での損失に対する情報理論的下位境界を求める。
本稿では,データと敵対的制約から競合ハイパーグラフを構築する際に発生する最適0-1損失を求めるための一般的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-02-21T15:17:13Z) - Analyzing Robustness of End-to-End Neural Models for Automatic Speech
Recognition [11.489161072526677]
音声認識のための事前学習ニューラルネットワークのロバスト性について検討する。
本研究では,LibriSpeechおよびTIMITデータセット上で,事前学習したニューラルネットワークwav2vec2, HuBERT, DistilHuBERTのロバスト性解析を行う。
論文 参考訳（メタデータ） (2022-08-17T20:00:54Z) - Towards Alternative Techniques for Improving Adversarial Robustness:
Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。
私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。
ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
論文 参考訳（メタデータ） (2022-06-13T22:01:21Z) - On-demand compute reduction with stochastic wav2vec 2.0 [63.22845151306881]
本稿では、wav2vec 2.0(W2V2)モデルに対するオンデマンドの計算量削減のための圧縮を提案する。
960hのLibrispeechデータセットで事前学習し、10hの転写データに微調整を行った結果,同じモデルを用いて単語誤り率(WER)と推測時間とのスムーズなトレードオフが得られた。
論文 参考訳（メタデータ） (2022-04-25T19:25:46Z) - Robust Binary Models by Pruning Randomly-initialized Networks [57.03100916030444]
ランダムな二元ネットワークから敵攻撃に対して頑健なモデルを得る方法を提案する。
ランダムな二元ネットワークを切断することにより、ロバストモデルの構造を学習する。
本手法は, 敵攻撃の有無で, 強力な抽選券仮説を立証する。
論文 参考訳（メタデータ） (2022-02-03T00:05:08Z) - Anomaly Detection in Cybersecurity: Unsupervised, Graph-Based and
Supervised Learning Methods in Adversarial Environments [63.942632088208505]
現在の運用環境に固有ののは、敵対的機械学習の実践である。
本研究では,教師なし学習とグラフに基づく異常検出の可能性を検討する。
我々は,教師付きモデルの訓練時に,現実的な対人訓練機構を組み込んで,対人環境における強力な分類性能を実現する。
論文 参考訳（メタデータ） (2021-05-14T10:05:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。