論文の概要: Cognate Transformer for Automated Phonological Reconstruction and Cognate Reflex Prediction

• arxiv url: http://arxiv.org/abs/2310.07487v1
• Date: Wed, 11 Oct 2023 13:34:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 22:41:38.714575
• Title: Cognate Transformer for Automated Phonological Reconstruction and Cognate Reflex Prediction
• Title（参考訳）: 自動音韻再構成のためのコグネートトランスフォーマーとコグネート反射予測
• Authors: V.S.D.S. Mahesh Akavarapu and Arnab Bhattacharya
• Abstract要約: 我々は,タンパク質言語モデルであるMSA Transformerを自動音韻再構成の問題に適用した。 MSA Transformerは複数のシーケンスアライメントを入力としてトレーニングし、コグネートな単語に適応する。 また、このモデルを他の関連するタスク、すなわち、他の娘言語のコグナネートな単語に基づいて娘言語の反射語を予測するコグナネートな反射予測に適用する。
• 参考スコア（独自算出の注目度）: 4.609569810881602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Phonological reconstruction is one of the central problems in historical linguistics where a proto-word of an ancestral language is determined from the observed cognate words of daughter languages. Computational approaches to historical linguistics attempt to automate the task by learning models on available linguistic data. Several ideas and techniques drawn from computational biology have been successfully applied in the area of computational historical linguistics. Following these lines, we adapt MSA Transformer, a protein language model, to the problem of automated phonological reconstruction. MSA Transformer trains on multiple sequence alignments as input and is, thus, apt for application on aligned cognate words. We, hence, name our model as Cognate Transformer. We also apply the model on another associated task, namely, cognate reflex prediction, where a reflex word in a daughter language is predicted based on cognate words from other daughter languages. We show that our model outperforms the existing models on both tasks, especially when it is pre-trained on masked word prediction task.
• Abstract（参考訳）: 音韻復元は歴史的言語学における中心的な問題の1つであり、祖先語の原語が娘言語の観察された子音語から決定される。 歴史言語学への計算的アプローチは、利用可能な言語データに基づいてモデルを学習することによってタスクを自動化しようとする。 計算生物学から導かれたいくつかのアイデアと技術は、計算史言語学の分野でうまく適用されている。 そこで我々は,自動音韻再構成の問題に対して,タンパク質言語モデルであるMSA Transformerを適用した。 msaトランスフォーマは入力として複数のシーケンスアライメントを訓練するので、アライメントされたコグネートワードに応用できる。 したがって、当社のモデルをCognate Transformerと名付けます。 また,娘言語の反射語を他の娘言語の共起語に基づいて予測するコグネイト反射予測(cognate reflex prediction, cognate reflex prediction)という別のタスクにもモデルを適用する。 特に,マスク付き単語予測タスクで事前学習した場合に,既存のモデルよりも優れていることを示す。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Language Evolution with Deep Learning [49.879239655532324]
  計算モデリングは言語の出現の研究において重要な役割を担っている。 構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。 この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
  論文  参考訳（メタデータ） (2024-03-18T16:52:54Z)
• Automated Cognate Detection as a Supervised Link Prediction Task with Cognate Transformer [4.609569810881602]
  関連する言語をまたいだコニャートの同定は、歴史的言語学における主要な問題の一つである。 本稿では,コグネート自動検出のための計算生物学にインスパイアされたトランスフォーマーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-02-05T11:47:36Z)
• Neural Unsupervised Reconstruction of Protolanguage Word Forms [34.66200889614538]
  古語形態の教師なし再構成に対する最先端のニューラルアプローチを提案する。 我々はこの研究を、より複雑な音韻学的および形態学的変化を捉えることができるニューラルモデルで拡張する。
  論文  参考訳（メタデータ） (2022-11-16T05:38:51Z)
• Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
  本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
  論文  参考訳（メタデータ） (2022-07-01T17:24:11Z)
• Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
  形態的に豊かな言語は機械翻訳に困難をもたらす。 多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。 いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。 言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
  論文  参考訳（メタデータ） (2022-03-25T10:13:20Z)
• Utilizing Wordnets for Cognate Detection among Indian Languages [50.83320088758705]
  ヒンディー語と10のインド諸語間の単語対を検出する。 深層学習手法を用いて単語対が共生か否かを予測する。 性能は最大26%向上した。
  論文  参考訳（メタデータ） (2021-12-30T16:46:28Z)
• Generative latent neural models for automatic word alignment [0.0]
  変分オートエンコーダは、最近、自然言語処理において、言語生成タスクに有用な教師なしの潜在表現を学習するために、様々な自然言語処理で使用されている。 本稿では,単語アライメント作業のためのこれらのモデルについて検討し,バニラ変分オートエンコーダのいくつかの進化について提案・評価する。 これらの手法は、Giza++と2つの言語ペアに対して強力なニューラルネットワークアライメントシステムに比較して、競争力のある結果が得られることを実証する。
  論文  参考訳（メタデータ） (2020-09-28T07:54:09Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。