論文の概要: Analyzing analytical methods: The case of phonology in neural models of spoken language

• arxiv url: http://arxiv.org/abs/2004.07070v2
• Date: Sat, 2 May 2020 07:59:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 03:05:36.868142
• Title: Analyzing analytical methods: The case of phonology in neural models of spoken language
• Title（参考訳）: 分析手法の分析:音声言語のニューラルモデルにおける音韻学の事例
• Authors: Grzegorz Chrupa{\l}a, Bertrand Higy, Afra Alishahi
• Abstract要約: 本稿では,音声言語のニューラルネットワークモデルにおける音韻表現の事例について検討する。 我々は2つの一般的な分析手法を用いて、音素配列と音素シーケンスを符号化するニューラルアクティベーションパターンの程度を定量化する。
• 参考スコア（独自算出の注目度）: 44.00588930401902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given the fast development of analysis techniques for NLP and speech processing systems, few systematic studies have been conducted to compare the strengths and weaknesses of each method. As a step in this direction we study the case of representations of phonology in neural network models of spoken language. We use two commonly applied analytical techniques, diagnostic classifiers and representational similarity analysis, to quantify to what extent neural activation patterns encode phonemes and phoneme sequences. We manipulate two factors that can affect the outcome of analysis. First, we investigate the role of learning by comparing neural activations extracted from trained versus randomly-initialized models. Second, we examine the temporal scope of the activations by probing both local activations corresponding to a few milliseconds of the speech signal, and global activations pooled over the whole utterance. We conclude that reporting analysis results with randomly initialized models is crucial, and that global-scope methods tend to yield more consistent results and we recommend their use as a complement to local-scope diagnostic methods.
• Abstract（参考訳）: NLPと音声処理システムの解析技術の急速な発展を踏まえ、各手法の強みと弱みを比較するための体系的な研究はほとんど行われていない。 この方向のステップとして,音声言語のニューラルネットワークモデルにおける音韻学表現の事例について検討する。 神経アクティベーションパターンが音素と音素列をエンコードする程度を定量化するために,診断的分類器と表現的類似性解析という2つの手法を応用した。 分析の結果に影響を与える2つの要因を操作する。 まず,訓練モデルとランダム初期化モデルから抽出した神経アクティベーションを比較し,学習の役割について検討する。 第2に,音声信号数ミリ秒に対応する局所的アクティベーションと,発話全体にわたってプールされた大域的アクティベーションの両方を探索することにより,アクティベーションの時間的スコープを検討する。 我々は,ランダム初期化モデルによる解析結果の報告が重要であり,グローバルスコープ法はより一貫性のある結果をもたらす傾向にあり,局所顕微鏡診断法を補完するものとしての利用を推奨する。

関連論文リスト

• Investigating the Timescales of Language Processing with EEG and Language Models [0.0]
  本研究では,事前学習した言語モデルと脳波データからの単語表現のアライメントを検討することで,言語処理の時間的ダイナミクスについて検討する。 テンポラル・レスポンス・ファンクション(TRF)モデルを用いて、神経活動が異なる層にまたがるモデル表現とどのように対応するかを検討する。 分析の結果,異なる層からのTRFのパターンが明らかとなり,語彙的および構成的処理への様々な貢献が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T12:49:27Z)
• A predictive learning model can simulate temporal dynamics and context effects found in neural representations of continuous speech [11.707968216076075]
  認知神経科学における最近の研究は、人間の音声のニューラルエンコーディングにおける時間的特徴と文脈的特徴を特定している。 本研究では,非競合音声で学習した計算モデルから抽出した表現を用いて,類似した解析をシミュレートした。 シミュレーションの結果,脳信号に類似した時間的ダイナミクスが明らかとなり,これらの特性が言語的知識を伴わずに生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-13T23:36:19Z)
• Deep Neural Convolutive Matrix Factorization for Articulatory Representation Decomposition [48.56414496900755]
  この研究は、コンボリューティブスパース行列分解のニューラル実装を用いて、調音データを解釈可能なジェスチャーとジェスチャースコアに分解する。 音素認識実験も実施され、ジェスチャースコアが実際に音韻情報のコード化に成功していることが示された。
  論文  参考訳（メタデータ） (2022-04-01T14:25:19Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Connecting Neural Response measurements & Computational Models of language: a non-comprehensive guide [5.523143941738335]
  言語モデリングとニューロイメージングにおける最近の進歩は、言語神経生物学の研究において潜在的な改善をもたらす可能性がある。 この調査は、単純な言語モデルから派生したイベント関連ポテンシャルと複雑性尺度をリンクする初期の研究から、大規模コーパスで訓練されたニューラルネットワークモデルを用いた現代研究まで、一線を辿っている。
  論文  参考訳（メタデータ） (2022-03-10T11:24:54Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Exploiting Language Model for Efficient Linguistic Steganalysis: An Empirical Study [23.311007481830647]
  言語ステガナリシスを効果的に行うための2つの方法を提案する。 1つはRNNに基づく言語モデルの事前トレーニングであり、もう1つはシーケンスオートエンコーダの事前トレーニングである。
  論文  参考訳（メタデータ） (2021-07-26T12:37:18Z)
• Discrete representations in neural models of spoken language [56.29049879393466]
  音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。 異なる評価指標が矛盾する結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2021-05-12T11:02:02Z)
• Multi-modal Automated Speech Scoring using Attention Fusion [46.94442359735952]
  本稿では,非母国英語話者の自発音声の自動評価のための,多モーダルなエンドツーエンドニューラルアプローチを提案する。 我々は、スペクトルや転写から音響的および語彙的手がかりを符号化するために、双方向のリカレント畳み込みニューラルネットワークと双方向長短期記憶ニューラルネットワークを用いる。 語彙と音響の両方への注意が組み合わさってシステム全体の性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2020-05-17T07:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。