論文の概要: Differentiable Generative Phonology

• arxiv url: http://arxiv.org/abs/2102.05717v2
• Date: Fri, 12 Feb 2021 03:35:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:11:23.938470
• Title: Differentiable Generative Phonology
• Title（参考訳）: 微分生成音韻論
• Authors: Shijie Wu and Edoardo Maria Ponti and Ryan Cotterell
• Abstract要約: 我々は,音声生成システムをニューラルモデルとして実装する。 従来の音韻学とは異なり、我々のモデルではufは離散文字列ではなく$mathbbrd$の連続ベクトルである。 5言語と28言語をカバーする2つのデータセットにおいて,各モードが有意な音韻弦を推定する能力を評価する。
• 参考スコア（独自算出の注目度）: 47.709731661281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of generative phonology, as formulated by Chomsky and Halle (1968), is to specify a formal system that explains the set of attested phonological strings in a language. Traditionally, a collection of rules (or constraints, in the case of optimality theory) and underlying forms (UF) are posited to work in tandem to generate phonological strings. However, the degree of abstraction of UFs with respect to their concrete realizations is contentious. As the main contribution of our work, we implement the phonological generative system as a neural model differentiable end-to-end, rather than as a set of rules or constraints. Contrary to traditional phonology, in our model, UFs are continuous vectors in $\mathbb{R}^d$, rather than discrete strings. As a consequence, UFs are discovered automatically rather than posited by linguists, and the model can scale to the size of a realistic vocabulary. Moreover, we compare several modes of the generative process, contemplating: i) the presence or absence of an underlying representation in between morphemes and surface forms (SFs); and ii) the conditional dependence or independence of UFs with respect to SFs. We evaluate the ability of each mode to predict attested phonological strings on 2 datasets covering 5 and 28 languages, respectively. The results corroborate two tenets of generative phonology, viz. the necessity for UFs and their independence from SFs. In general, our neural model of generative phonology learns both UFs and SFs automatically and on a large-scale.
• Abstract（参考訳）: Chomsky and Halle (1968) によって定式化された生成音韻学の目標は、言語で証明された音韻の集合を説明する形式的なシステムを指定することである。 伝統的に、規則(あるいは最適性理論の場合の制約)と基礎形式(UF)の集合は、音韻弦を生成するためにタンデムで働くように仮定される。 しかし、具体的な実現に関するUFの抽象化の程度は議論の余地がある。 我々の研究の主な貢献は、規則や制約の集合ではなく、ニューラルモデルで識別可能なエンドツーエンドとして音韻生成システムを実装することである。 従来の音韻学とは対照的に、私たちのモデルでは UF は離散弦ではなく $\mathbb{R}^d$ の連続ベクトルである。 その結果、UFは言語学者によって提案されるのではなく自動的に発見され、モデルは現実的な語彙のサイズまでスケールすることができる。 さらに、生成過程のいくつかのモードを比較し、以下を考察する:i)形態素と表面形態(SFs)の間に根底にある表現の存在または不在;ii)SFに関するUFの条件依存または独立。 5言語と28言語をカバーする2つのデータセットにおいて,各モードが有意な音韻列を推定する能力を評価した。 結果は、生成音韻学の2つのテネットであるvizと相関する。 UF と SF からの独立の必要性。 一般的に、生成音声学のニューラルネットワークは、UFとSFの両方を自動的に、そして大規模に学習する。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
  音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。 我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
  論文  参考訳（メタデータ） (2024-04-03T04:53:14Z)
• An Information-Theoretic Analysis of Self-supervised Discrete Representations of Speech [17.07957283733822]
  我々は,各音韻カテゴリーを離散単位上の分布として表現する情報理論フレームワークを開発した。 本研究は,音素分布のエントロピーが下層の音声の変動を反映していることを示す。 本研究は, 直接・一対一対応の欠如を裏付けるものであるが, 音韻カテゴリーと離散単位との間には, 興味深い, 間接的な関係があることを見出した。
  論文  参考訳（メタデータ） (2023-06-04T16:52:11Z)
• Exploring How Generative Adversarial Networks Learn Phonological Representations [6.119392435448723]
  GAN(Generative Adversarial Networks)は、音韻現象の表現を学習する。 我々は、フランス語と英語の母音において、GANがコントラスト的および非コントラスト的鼻音をエンコードする方法を分析する。
  論文  参考訳（メタデータ） (2023-05-21T16:37:21Z)
• Evolution and trade-off dynamics of functional load [0.0]
  オーストラリア・パマ・ニュンガン族(PN)の90言語にまたがるFLの経時的進化を調べるために系統学的手法を適用した。 音韻学などの音韻学的構造については系統学的信号が報告されているが,音韻的機能の測定における検出は珍しい。
  論文  参考訳（メタデータ） (2021-12-22T20:57:50Z)
• Do Acoustic Word Embeddings Capture Phonological Similarity? An Empirical Study [12.210797811981173]
  本稿では,音響埋め込み空間内の距離が音韻的相似性と相関しているかを問う。 我々は、AWEモデルを2つの言語(ドイツ語とチェコ語)の制御設定で訓練し、単語識別と音韻的類似性という2つのタスクへの埋め込みを評価する。 実験の結果,(1)ベストケースにおける埋め込み空間内の距離は音韻的距離と適度に相関すること,(2)単語識別タスクの性能向上が必ずしも単語の音韻的類似性を反映したモデルを生成するとは限らないことがわかった。
  論文  参考訳（メタデータ） (2021-06-16T10:47:56Z)
• Decomposing lexical and compositional syntax and semantics with deep language models [82.81964713263483]
  GPT2のような言語変換器の活性化は、音声理解中の脳活動に線形にマップすることが示されている。 本稿では,言語モデルの高次元アクティベーションを,語彙,構成,構文,意味表現の4つのクラスに分類する分類法を提案する。 その結果は2つの結果が浮かび上がった。 まず、構成表現は、語彙よりも広範な皮質ネットワークを募集し、両側の側頭、頭頂、前頭前皮質を包含する。
  論文  参考訳（メタデータ） (2021-03-02T10:24:05Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
  本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。 適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。 言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-30T19:05:41Z)
• Do Neural Language Models Show Preferences for Syntactic Formalisms? [14.388237635684737]
  本研究では,言語モデルが捉えた構文構造のセマンランスが,表面シンタクティックあるいは深層構文解析の様式にどの程度依存しているかについて検討する。 13の異なる言語で訓練されたBERTおよびELMoモデルに対して,有向依存木抽出のためのプローブを適用した。 どちらのモデルも、SUDよりもUDを好むことが分かりました。
  論文  参考訳（メタデータ） (2020-04-29T11:37:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。