論文の概要: Probing Statistical Representations For End-To-End ASR

• arxiv url: http://arxiv.org/abs/2211.01993v1
• Date: Thu, 3 Nov 2022 17:08:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 14:03:50.423275
• Title: Probing Statistical Representations For End-To-End ASR
• Title（参考訳）: エンドツーエンドasrのための統計的表現の探索
• Authors: Anna Ollerenshaw, Md Asif Jalal, Thomas Hain
• Abstract要約: 本稿では,SVCCAを用いたトランスフォーマーアーキテクチャにおけるドメイン間言語モデル依存性について検討する。 その結果, トランス層内の特定の神経表現は, 認識性能に影響を及ぼす相関挙動を示すことがわかった。
• 参考スコア（独自算出の注目度）: 28.833851817220616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: End-to-End automatic speech recognition (ASR) models aim to learn a generalised speech representation to perform recognition. In this domain there is little research to analyse internal representation dependencies and their relationship to modelling approaches. This paper investigates cross-domain language model dependencies within transformer architectures using SVCCA and uses these insights to exploit modelling approaches. It was found that specific neural representations within the transformer layers exhibit correlated behaviour which impacts recognition performance. Altogether, this work provides analysis of the modelling approaches affecting contextual dependencies and ASR performance, and can be used to create or adapt better performing End-to-End ASR models and also for downstream tasks.
• Abstract（参考訳）: エンドツーエンド自動音声認識(ASR)モデルは、一般化された音声表現を学習して音声認識を行うことを目的としている。 この領域では、内部表現の依存関係とモデリングアプローチとの関係を分析する研究はほとんどない。 本稿では,SVCCAを用いてトランスフォーマーアーキテクチャ内のドメイン間言語モデル依存性を解析し,これらの知見をモデリングアプローチの活用に活用する。 その結果、トランスフォーマー層内の特定の神経表現は、認識性能に影響を与える相関行動を示すことがわかった。 この研究は、コンテキスト依存やASRのパフォーマンスに影響を与えるモデリングアプローチの分析を提供し、エンド・ツー・エンドのASRモデルの作成や適応、下流タスクにも使用することができる。

関連論文リスト

• The Importance of Downstream Networks in Digital Pathology Foundation Models [1.689369173057502]
  162のアグリゲーションモデル構成を持つ3つの異なるデータセットにまたがる7つの特徴抽出モデルを評価する。 多くの特徴抽出器モデルの性能は顕著に類似していることが判明した。
  論文  参考訳（メタデータ） (2023-11-29T16:54:25Z)
• Causal Disentangled Variational Auto-Encoder for Preference Understanding in Recommendation [50.93536377097659]
  本稿では,コメンテータシステムにおける対話データから因果不整合表現を学習するためのCaD-VAE(Causal Disentangled Variational Auto-Encoder)を提案する。 この手法は構造因果モデルを用いて、潜在因子間の因果関係を記述する因果表現を生成する。
  論文  参考訳（メタデータ） (2023-04-17T00:10:56Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Insights on Neural Representations for End-to-End Speech Recognition [28.833851817220616]
  エンドツーエンド自動音声認識(ASR)モデルは、一般化された音声表現を学習することを目的としている。 相関解析手法を用いたネットワーク類似性の調査は、エンド・ツー・エンドASRモデルでは行われていない。 本稿では,CNN,LSTM,Transformerをベースとしたトレーニングにおいて,レイヤ間の内部ダイナミクスを解析し,検討する。
  論文  参考訳（メタデータ） (2022-05-19T10:19:32Z)
• Temporal Relevance Analysis for Video Action Models [70.39411261685963]
  まず,CNNに基づく行動モデルにより捉えたフレーム間の時間的関係を定量化する手法を提案する。 次に、時間的モデリングがどのように影響を受けるかをよりよく理解するために、包括的な実験と詳細な分析を行います。
  論文  参考訳（メタデータ） (2022-04-25T19:06:48Z)
• Layer-wise Analysis of a Self-supervised Speech Representation Model [26.727775920272205]
  自己教師付き学習アプローチは、音声表現モデルの事前学習に成功している。 事前訓練された表現そのものに符号化された情報のタイプや範囲についてはあまり研究されていない。
  論文  参考訳（メタデータ） (2021-07-10T02:13:25Z)
• Evaluating the Impact of a Hierarchical Discourse Representation on Entity Coreference Resolution Performance [3.7277082975620797]
  本研究では,ニューラルアプローチで自動構築された対話解析木を活用する。 2つのベンチマークエンティティのコリファレンスレゾリューションデータセットにおける大幅な改善を示す。
  論文  参考訳（メタデータ） (2021-04-20T19:14:57Z)
• Transforming Feature Space to Interpret Machine Learning Models [91.62936410696409]
  この貢献は、特徴空間変換のレンズを通して機械学習モデルを解釈する新しいアプローチを提案する。 非条件的および条件付きポストホック診断ツールの拡張に使用できる。 提案手法の可能性を実証するために,46特徴のリモートセンシング土地被覆分類の事例研究を行った。
  論文  参考訳（メタデータ） (2021-04-09T10:48:11Z)
• Facial Action Unit Intensity Estimation via Semantic Correspondence Learning with Dynamic Graph Convolution [27.48620879003556]
  本稿では,特徴マップ間の意味的対応を確立することによって,AUの潜伏関係を自動的に学習する学習フレームワークを提案する。 熱マップ回帰に基づくネットワークでは、特徴写像はAU強度と位置に関連する豊富な意味情報を保存する。 これはAU強度レベルの共起関係を暗黙的に表す特徴チャネル間の相関をモデル化する動機となっている。
  論文  参考訳（メタデータ） (2020-04-20T23:55:30Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。