Fugu-MT 論文翻訳(概要): In search of isoglosses: continuous and discrete language embeddings in Slavic historical phonology

論文の概要: In search of isoglosses: continuous and discrete language embeddings in Slavic historical phonology

arxiv url: http://arxiv.org/abs/2005.13575v1
Date: Wed, 27 May 2020 18:10:46 GMT
ステータス: 処理完了
システム内更新日: 2022-11-28 08:12:38.985802
Title: In search of isoglosses: continuous and discrete language embeddings in Slavic historical phonology
Title（参考訳）: アイソグルーセの探索--スラヴの歴史的音韻学における連続的および離散的な言語埋め込み
Authors: Chundra A. Cathcart, Florian Wandl
Abstract要約: 私たちは3種類の言語埋め込み(dense, sigmoid, ストレートスルー)を採用しています。 Sigmoid モデルの言語埋め込みは,従来のスラヴ語のサブグループ化と最強の一致を示している。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper investigates the ability of neural network architectures to effectively learn diachronic phonological generalizations in a multilingual setting. We employ models using three different types of language embedding (dense, sigmoid, and straight-through). We find that the Straight-Through model outperforms the other two in terms of accuracy, but the Sigmoid model's language embeddings show the strongest agreement with the traditional subgrouping of the Slavic languages. We find that the Straight-Through model has learned coherent, semi-interpretable information about sound change, and outline directions for future research.
Abstract（参考訳）: 本稿では,多言語環境でのダイアクロニック音韻汎化を効果的に学習するニューラルネットワークアーキテクチャの能力について検討する。 3種類の言語埋め込み(dense, sigmoid, ストレートスルー)をモデルとして採用しています。ストレートスルーモデルは、他の2つを精度で上回っているが、sgmoidモデルの埋め込みは、伝統的なスラヴ語のサブグループ化と最も強い一致を示している。ストレートスルーモデルでは,音変化に関するコヒーレントで半解釈可能な情報と,今後の研究に向けた概説が得られた。

関連論文リスト

A Comparative Analysis of Bilingual and Trilingual Wav2Vec Models for Automatic Speech Recognition in Multilingual Oral History Archives [2.3592914313389257]
我々は,単言語Wav2Vec 2.0モデルと様々な多言語モデルを比較し,音声認識性能の向上を図る。以上の結果から,単言語音声認識モデルは多言語モデルよりも優れていることが示唆された。
論文参考訳（メタデータ） (2024-07-24T11:03:47Z)
Learning Cross-lingual Visual Speech Representations [108.68531445641769]
言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
論文参考訳（メタデータ） (2023-03-14T17:05:08Z)
Language Embeddings Sometimes Contain Typological Generalizations [0.0]
我々は、1295の言語における聖書翻訳の膨大な多言語データセットに基づいて、自然言語処理タスクのニューラルネットワークを訓練する。学習された言語表現は、既存の類型データベースや、新しい量的構文的・形態的特徴セットと比較される。いくつかの一般化は言語型学の伝統的な特徴に驚くほど近いが、ほとんどのモデルは以前の研究と同様に言語学的に意味のある一般化をしていないと結論付けている。
論文参考訳（メタデータ） (2023-01-19T15:09:59Z)
Accidental Learners: Spoken Language Identification in Multilingual Self-Supervised Models [11.439430077017635]
事前学習された音声モデルは,下位層における言語識別情報を最適に符号化する。これらの層から得られる埋め込みは、目に見えない言語を分類するのに非常に堅牢であることを示す。 NVIDIA NeMoツールキットを通じてモデルをオープンソースにしています。
論文参考訳（メタデータ） (2022-11-09T18:53:59Z)
Integrating Linguistic Theory and Neural Language Models [2.870517198186329]
理論的言語学とニューラル言語モデルが相互にどのように関係しているかを説明するためのケーススタディをいくつか提示する。この論文は、言語モデルにおける構文意味インタフェースの異なる側面を探求する3つの研究に貢献する。
論文参考訳（メタデータ） (2022-07-20T04:20:46Z)
Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
論文参考訳（メタデータ） (2022-07-01T17:24:11Z)
Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models [84.86942006830772]
多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。 43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
論文参考訳（メタデータ） (2022-05-04T12:22:31Z)
Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文参考訳（メタデータ） (2021-09-01T09:32:06Z)
Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。類型的に多様な訓練言語のサンプルからこの分布を推測する。我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文参考訳（メタデータ） (2021-08-06T23:49:18Z)
Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
論文参考訳（メタデータ） (2020-10-27T22:24:01Z)
Linguistic Typology Features from Text: Inferring the Sparse Features of World Atlas of Language Structures [73.06435180872293]
我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。様々な言語型の特徴を確実に予測できることを示す。
論文参考訳（メタデータ） (2020-04-30T21:00:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。