論文の概要: ÚFAL LatinPipe at EvaLatin 2024: Morphosyntactic Analysis of Latin
- arxiv url: http://arxiv.org/abs/2404.05839v2
- Date: Wed, 29 May 2024 16:37:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 22:52:03.762951
- Title: ÚFAL LatinPipe at EvaLatin 2024: Morphosyntactic Analysis of Latin
- Title（参考訳）: 2024年エヴァラティンのラテンパイプ:ラテンのモルフォシンタクティック分析
- Authors: Milan Straka, Jana Straková, Federica Gamba,
- Abstract要約: 我々は、Eva 2024 Dependency Parsingタスクの受賞申請である LatinPipe を提示する。
本システムでは, ベースと大型の事前学習型LMの微調整による結合が構成されている。
一般に公開されている7つのラテンコーパスからのサンプリングによって訓練される。
- 参考スコア（独自算出の注目度）: 1.590106856568323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present LatinPipe, the winning submission to the EvaLatin 2024 Dependency Parsing shared task. Our system consists of a fine-tuned concatenation of base and large pre-trained LMs, with a dot-product attention head for parsing and softmax classification heads for morphology to jointly learn both dependency parsing and morphological analysis. It is trained by sampling from seven publicly available Latin corpora, utilizing additional harmonization of annotations to achieve a more unified annotation style. Before fine-tuning, we train the system for a few initial epochs with frozen weights. We also add additional local relative contextualization by stacking the BiLSTM layers on top of the Transformer(s). Finally, we ensemble output probability distributions from seven randomly instantiated networks for the final submission. The code is available at https://github.com/ufal/evalatin2024-latinpipe.
- Abstract（参考訳）: 我々は、EvaLatin 2024 Dependency Parsing 共有タスクの受賞申請である LatinPipe を提示する。
本システムでは, 基本および大型の事前学習型LMの微調整による連結と, 係り受け解析と形態解析の両方を共同で学習する形態学用ドット積アテンションヘッド, ソフトマックス分類ヘッドから構成される。
これは、より統一されたアノテーションスタイルを達成するために、アノテーションの追加調和を利用して、利用可能な7つのラテンコーパスからのサンプリングによって訓練される。
微調整の前に、凍結重量のあるいくつかの初期エポックでシステムを訓練する。
また、Transformer(s)上にBiLSTMレイヤを積み重ねることで、局所的な相対的コンテキスト化も追加します。
最後に、7つのランダムにインスタンス化されたネットワークから出力された確率分布を最終提出のためにアンサンブルする。
コードはhttps://github.com/ufal/evalatin2024-latinpipeで公開されている。
関連論文リスト
- Nostra Domina at EvaLatin 2024: Improving Latin Polarity Detection through Data Augmentation [11.613446814180843]
提案手法は,$k$-meansアルゴリズムを用いて提案する。
ニューラルネットワークにはさまざまなラテン大言語モデル(LLM)が採用されています。
論文 参考訳（メタデータ） (2024-04-11T14:35:23Z) - Towards A Unified View of Sparse Feed-Forward Network in Pretraining
Large Language Model [58.9100867327305]
大規模かつスパースなフィードフォワード層(S-FFN)は、大きな言語モデルをテキスト処理するためにTransformersモデルのサイズをスケールアップするのに有効であることが証明されている。
我々は,S-FFNの2つの主要な設計選択,すなわち,メモリブロックのサイズとメモリブロックの選択方法について分析した。
言語モデルの事前学習において,より単純な選択方法である textbftextttAvg-K が得られた。
論文 参考訳（メタデータ） (2023-05-23T12:28:37Z) - Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。
本研究では,このアプローチをニューラルLMの文脈で再考する。
論文 参考訳（メタデータ） (2022-03-21T01:16:44Z) - A Simple Multi-Modality Transfer Learning Baseline for Sign Language
Translation [54.29679610921429]
既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。
したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。
この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
論文 参考訳（メタデータ） (2022-03-08T18:59:56Z) - Inducing Transformer's Compositional Generalization Ability via
Auxiliary Sequence Prediction Tasks [86.10875837475783]
体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。
既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。
本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
論文 参考訳（メタデータ） (2021-09-30T16:41:19Z) - TGIF: Tree-Graph Integrated-Format Parser for Enhanced UD with Two-Stage
Generic- to Individual-Language Finetuning [18.71574180551552]
IWPT 2021共有タスクへのコントリビューションについて述べる。
我々のメインシステムコンポーネントはハイブリッドツリーグラフであり、スプレッドツリーに存在しないグラフエッジを付加した拡張グラフに対して、スプレッドツリーの予測を統合する。
論文 参考訳（メタデータ） (2021-07-14T18:00:08Z) - Pre-training Multilingual Neural Machine Translation by Leveraging
Alignment Information [72.2412707779571]
mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。
我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
論文 参考訳（メタデータ） (2020-10-07T03:57:54Z) - K{\o}psala: Transition-Based Graph Parsing via Efficient Training and
Effective Encoding [13.490365811869719]
We present Kopsala, the Copenhagen-Uppsala system for the Enhanced Universal Dependencies Shared Task at IWPT 2020。
当社のシステムは,拡張解析以外のすべてを対象として,既製のモデルで構成されたパイプラインであり,後者はCheなどから適応した遷移グラフである。
平均的なELASによると、統一パイプラインはRepresentation ParsingとEnhanced Universal Dependenciesの両方に有効であることを示す。
論文 参考訳（メタデータ） (2020-05-25T13:17:09Z) - Semi-Supervised Neural System for Tagging, Parsing and Lematization [1.6752182911522522]
本稿では,CoNLL 2018の多言語構文解析からユニバーサル依存関係への共有タスクであるICS PASシステムについて述べる。
このシステムは、BiLSTMネットワークによって抽出された特徴に基づいて、共同で訓練されたタグ、レムマタイザー、および依存性から構成される。
論文 参考訳（メタデータ） (2020-04-26T18:29:31Z) - Towards Instance-Level Parser Selection for Cross-Lingual Transfer of
Dependency Parsers [59.345145623931636]
我々は、インスタンスレベルの選択(ILPS)という、新しい言語間移動パラダイムを論じる。
本稿では,デレキシライズドトランスファーの枠組みにおけるインスタンスレベルの選択に着目した概念実証研究を提案する。
論文 参考訳（メタデータ） (2020-04-16T13:18:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。