論文の概要: Wave to Syntax: Probing spoken language models for syntax

• arxiv url: http://arxiv.org/abs/2305.18957v1
• Date: Tue, 30 May 2023 11:43:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 16:41:37.743226
• Title: Wave to Syntax: Probing spoken language models for syntax
• Title（参考訳）: Wave to Syntax: 構文のための音声言語モデルの提案
• Authors: Gaofei Shen, Afra Alishahi, Arianna Bisazza, Grzegorz Chrupa{\l}a
• Abstract要約: 音声言語の自己教師型および視覚的基盤モデルにおける構文の符号化に着目する。 我々は、構文がネットワークの中間層で最も顕著に捉えられ、より多くのパラメータを持つモデルでより明確に表現されていることを示す。
• 参考スコア（独自算出の注目度）: 16.643072915927313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding which information is encoded in deep models of spoken and written language has been the focus of much research in recent years, as it is crucial for debugging and improving these architectures. Most previous work has focused on probing for speaker characteristics, acoustic and phonological information in models of spoken language, and for syntactic information in models of written language. Here we focus on the encoding of syntax in several self-supervised and visually grounded models of spoken language. We employ two complementary probing methods, combined with baselines and reference representations to quantify the degree to which syntactic structure is encoded in the activations of the target models. We show that syntax is captured most prominently in the middle layers of the networks, and more explicitly within models with more parameters.
• Abstract（参考訳）: 音声および文字言語の深層モデルにエンコードされる情報を理解することは、これらのアーキテクチャのデバッグと改善に不可欠であるため、近年多くの研究の焦点となっている。 これまでの研究のほとんどは、話者特性の探索、音声言語のモデルにおける音響的および音韻的情報、および書き言葉のモデルにおける構文的情報に焦点を当てている。 ここでは、音声言語の自己教師型および視覚的基盤モデルにおける構文の符号化に焦点を当てる。 対象モデルのアクティベーションで構文構造がエンコードされる程度を定量化するために,ベースラインと参照表現を組み合わせた2つの補完的探索法を用いる。 我々は、構文がネットワークの中間層で最も顕著に捉えられ、より多くのパラメータを持つモデルでより明確に表現されていることを示す。

関連論文リスト

• Small Language Models Like Small Vocabularies: Probing the Linguistic Abilities of Grapheme- and Phoneme-Based Baby Llamas [7.585433383340306]
  我々は,Llamaアーキテクチャに基づく小型モデルは,標準構文および新しい語彙/音声のベンチマークにおいて,強力な言語性能が得られることを示す。 本研究は,言語習得と処理の計算研究に適する言語学的に妥当な言語モデルを作成するための,有望な方向性を示唆するものである。
  論文  参考訳（メタデータ） (2024-10-02T12:36:08Z)
• Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement [1.4335183427838039]
  我々は,特定の特性を持つ大規模でキュレートされた合成データを開発するためのアプローチを採っている。 我々は、ブラックバード言語行列(Blackbird Language Matrices)と呼ばれる新しい複数選択タスクとデータセットを使用して、特定の文法構造現象に焦点を当てる。 多言語テキストを一貫した方法で訓練したにもかかわらず、多言語事前学習言語モデルには言語固有の違いがあることが示される。
  論文  参考訳（メタデータ） (2024-09-10T14:58:55Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Understanding Cross-Lingual Alignment -- A Survey [52.572071017877704]
  言語間アライメントは多言語言語モデルにおける言語間の表現の有意義な類似性である。 本研究は,言語間アライメントの向上,手法の分類,分野全体からの洞察の要約といった手法の文献を調査する。
  論文  参考訳（メタデータ） (2024-04-09T11:39:53Z)
• Revisiting Topic-Guided Language Models [20.21486464604549]
  4つのトピック誘導言語モデルと2つのベースラインについて検討し、4つのコーパス上で各モデルの保留予測性能を評価する。 これらの手法はいずれも標準のLSTM言語モデルのベースラインを上回りません。
  論文  参考訳（メタデータ） (2023-12-04T20:33:24Z)
• Bidirectional Representations for Low Resource Spoken Language Understanding [39.208462511430554]
  双方向リッチ符号化における音声符号化のための表現モデルを提案する。 このアプローチでは、表現を学習するために、マスク付き言語モデリングの目的を使用する。 得られたエンコーディングの性能は、複数のデータセットで比較できるモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-24T17:05:16Z)
• Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
  事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。 本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。 この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
  論文  参考訳（メタデータ） (2022-10-26T04:47:18Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)
• Learning Spoken Language Representations with Neural Lattice Language Modeling [39.50831917042577]
  本稿では,音声言語理解タスクのための文脈表現を提供するために,ニューラルネットワーク言語モデルを訓練するフレームワークを提案する。 提案する2段階事前学習手法は,音声データの要求を低減し,効率を向上する。
  論文  参考訳（メタデータ） (2020-07-06T10:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。