論文の概要: What does BERT learn about prosody?

• arxiv url: http://arxiv.org/abs/2304.12706v1
• Date: Tue, 25 Apr 2023 10:34:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-26 21:01:37.528278
• Title: What does BERT learn about prosody?
• Title（参考訳）: BERTはプロソディについて何を学ぶのか?
• Authors: Sofoklis Kakouros and Johannah O'Mahony
• Abstract要約: モデルが学習する言語の構造情報に韻律が組み込まれているかどうかを考察する。 以上の結果から,韻律的優位性に関する情報は多くの層にまたがるが,中層に主眼を置いていることから,BERTは構文情報や意味情報に大きく依存していることが示唆された。
• 参考スコア（独自算出の注目度）: 1.1548853370822343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models have become nearly ubiquitous in natural language processing applications achieving state-of-the-art results in many tasks including prosody. As the model design does not define predetermined linguistic targets during training but rather aims at learning generalized representations of the language, analyzing and interpreting the representations that models implicitly capture is important in bridging the gap between interpretability and model performance. Several studies have explored the linguistic information that models capture providing some insights on their representational capacity. However, the current studies have not explored whether prosody is part of the structural information of the language that models learn. In this work, we perform a series of experiments on BERT probing the representations captured at different layers. Our results show that information about prosodic prominence spans across many layers but is mostly focused in middle layers suggesting that BERT relies mostly on syntactic and semantic information.
• Abstract（参考訳）: 自然言語処理アプリケーションでは、言語モデルはほぼ至るところで使われている。 モデル設計は、訓練中に所定の言語目標を定義するのではなく、言語の一般化された表現を学習することを目的としているため、モデルが暗黙的にキャプチャする表現の分析と解釈は、解釈可能性とモデル性能のギャップを埋める上で重要である。 いくつかの研究は、モデルが表現能力に関する洞察を与える言語情報を探索してきた。 しかし、現在の研究では、韻律がモデルが学習する言語の構造情報の一部であるかどうかについて検討していない。 本研究では,異なる層でキャプチャされた表現をBERTで探索する実験を行った。 以上の結果から,韻律的優位性に関する情報は多くの層にまたがるが,中層を中心にして,BERTは構文情報や意味情報に大きく依存していることが示唆された。

関連論文リスト

• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Probing via Prompting [71.7904179689271]
  本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。 我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。 次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
  論文  参考訳（メタデータ） (2022-07-04T22:14:40Z)
• ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data [38.20984369410193]
  大規模な事前訓練された言語モデルは、プロンプトを通じて様々な下流タスクにおいて、ますますよく機能している。 モデルがタスク固有の知識を、特にゼロショット設定でどこで学習するかは、まだ不明である。 この研究では、モデルが事前学習からタスク固有の能力を示す証拠を見つけ、特に事前学習データのごく小さなサブセットを見つけることに興味がある。
  論文  参考訳（メタデータ） (2022-05-25T09:25:06Z)
• Curriculum: A Broad-Coverage Benchmark for Linguistic Phenomena in Natural Language Understanding [1.827510863075184]
  Curriculumは広範囲言語現象の評価のためのNLIベンチマークの新しいフォーマットである。 この言語フェノメナ駆動型ベンチマークは、モデル行動の診断とモデル学習品質の検証に有効なツールであることを示す。
  論文  参考訳（メタデータ） (2022-04-13T10:32:03Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• On the Language-specificity of Multilingual BERT and the Impact of Fine-tuning [7.493779672689531]
  multilingual BERT (mBERT) が獲得した知識は、言語固有のものと言語ニュートラルな2つのコンポーネントを持っている。 本稿では,2つのタスクの微調整の文脈において,それらの関係を解析する。
  論文  参考訳（メタデータ） (2021-09-14T19:28:31Z)
• A Closer Look at Linguistic Knowledge in Masked Language Models: The Case of Relative Clauses in American English [17.993417004424078]
  トランスフォーマーに基づく言語モデルは、様々なタスクにおいて高いパフォーマンスを達成するが、それらが学習し、依存する言語知識の理解はいまだに不足している。 文レベルの探索, 診断事例, マスク付き予測タスクにより, 文法的および意味的知識をテストする3つのモデル(BERT, RoBERTa, ALBERT)を評価した。
  論文  参考訳（メタデータ） (2020-11-02T13:25:39Z)
• Do Language Embeddings Capture Scales? [54.1633257459927]
  事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。 我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
  論文  参考訳（メタデータ） (2020-10-11T21:11:09Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)
• A Matter of Framing: The Impact of Linguistic Formalism on Probing Results [69.36678873492373]
  BERT (Delvin et al.) のような事前訓練されたコンテキスト化エンコーダは、下流タスクで顕著なパフォーマンスを示す。 調査における最近の研究は、事前学習中にこれらのモデルによって暗黙的に学習された言語知識について調査している。 形式主義の選択は調査結果に影響を及ぼすか? BERTによる意味的役割情報とプロトロール情報のエンコーディングにおける言語学的意義の相違は,形式主義に依存している。
  論文  参考訳（メタデータ） (2020-04-30T17:45:16Z)
• What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
  本稿では,言語固有のBERTモデルにおける技術の現状について述べる。 本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
  論文  参考訳（メタデータ） (2020-03-05T20:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。