Fugu-MT 論文翻訳(概要): Transformed Protoform Reconstruction

論文の概要: Transformed Protoform Reconstruction

arxiv url: http://arxiv.org/abs/2307.01896v2
Date: Thu, 6 Jul 2023 03:51:57 GMT
ステータス: 処理完了
システム内更新日: 2023-07-07 11:00:51.599004
Title: Transformed Protoform Reconstruction
Title（参考訳）: 変換プロトフォーム再構成
Authors: Young Min Kim, Kalvin Chang, Chenxuan Cui and David Mortensen
Abstract要約: プロトホルムの再構築は、娘言語の祖先言語における形態素や単語の出現を推測する作業である。 Meloni などのモデルに最先端の seq2seq モデルである Transformer を更新する。我々のモデルは、2つの異なるデータセットで異なるメトリクスの組でそれらのモデルより優れています。
参考スコア（独自算出の注目度）: 2.9401615144378823
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Protoform reconstruction is the task of inferring what morphemes or words appeared like in the ancestral languages of a set of daughter languages. Meloni et al. (2021) achieved the state-of-the-art on Latin protoform reconstruction with an RNN-based encoder-decoder with attention model. We update their model with the state-of-the-art seq2seq model: the Transformer. Our model outperforms their model on a suite of different metrics on two different datasets: their Romance data of 8,000 cognates spanning 5 languages and a Chinese dataset (Hou 2004) of 800+ cognates spanning 39 varieties. We also probe our model for potential phylogenetic signal contained in the model. Our code is publicly available at https://github.com/cmu-llab/acl-2023.
Abstract（参考訳）: プロトホルムの再構築は、娘言語の祖先言語における形態素や単語の出現を推測する作業である。 Meloni et al. (2021)は、RNNベースのエンコーダデコーダとアテンションモデルを用いて、ラテン文字のプロトフォーム再構築の最先端を達成した。我々は最新のseq2seqモデルであるtransformerでモデルを更新する。我々のモデルは,5言語にまたがる8,000コニャート,39種にまたがる800以上のコニャートからなる中国語データセット(Hou 2004)の2つの異なるデータセット上で,それらのモデルを比較した。また,本モデルに含まれる可能性のある系統信号についても検討する。私たちのコードはhttps://github.com/cmu-llab/acl-2023で公開されています。

関連論文リスト

Knowledge Fusion By Evolving Weights of Language Models [5.354527640064584]
本稿では,複数のモデルを統一モデルに統合するアプローチについて検討する。本稿では進化的アルゴリズムに触発されたEvolverという知識融合手法を提案する。
論文参考訳（メタデータ） (2024-06-18T02:12:34Z)
In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文参考訳（メタデータ） (2024-01-23T18:59:21Z)
SERENGETI: Massively Multilingual Language Models for Africa [5.945320097465418]
SERENGETIは517のアフリカの言語と言語を包含する多言語言語モデルである。我々は、20のデータセットにまたがる8つの自然言語理解タスクに関する新しいモデルを評価し、4-23のアフリカの言語をカバーする4mPLMと比較した。
論文参考訳（メタデータ） (2022-12-21T05:54:14Z)
Heterogenous Ensemble of Models for Molecular Property Prediction [55.91865861896012]
分子の異なるモーダル性を考える手法を提案する。これらのモデルをHuberRegressorでアンサンブルします。これにより、OGB Large-Scale Challenge (2022)の2textsuperscriptndエディションの勝利のソリューションが得られる。
論文参考訳（メタデータ） (2022-11-20T17:25:26Z)
Fusing Sentence Embeddings Into LSTM-based Autoregressive Language Models [20.24851041248274]
本稿では,プレフィックス埋め込みを用いたLSTMに基づく自己回帰言語モデルを提案する。融合は、異なるドメインからのデータセットへの転送後に保存される難易度(16.74$rightarrow$ 15.80)を確実に低下させるのに役立つ。また,次の単語推定値と人間の読解時間とを相関させることにより,最も優れた融合モデルの評価を行った。
論文参考訳（メタデータ） (2022-08-04T02:13:03Z)
Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages [86.08359401867577]
バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。コード要約と生成による逆翻訳を提案する。提案手法は最先端の手法と競合することを示す。
論文参考訳（メタデータ） (2022-05-23T08:20:41Z)
Neural Morphology Dataset and Models for Multiple Languages, from the Large to the Endangered [1.0896567381206714]
我々は、形態学的に豊かな言語に対する形態解析、生成、補題化のためのニューラルネットワークを訓練する。本稿では,22言語を対象に,FSTからかなりの量のトレーニングデータを自動抽出する手法を提案する。
論文参考訳（メタデータ） (2021-05-26T09:35:38Z)
Neural Language Models for Nineteenth-Century English [1.4651650125356899]
我々は、英語の書籍の大規模な歴史的データセットに基づいて訓練された4種類のニューラル言語モデルを示す。各アーキテクチャについて、データセット全体を使用してモデルインスタンスをトレーニングしました。私たちのモデルは、パフォーマンスを継続的に改善する様々な下流タスクで既に使われています。
論文参考訳（メタデータ） (2021-05-24T14:57:34Z)
Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
論文参考訳（メタデータ） (2021-04-15T02:36:49Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)
Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
論文参考訳（メタデータ） (2020-04-30T17:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。