論文の概要: TURNA: A Turkish Encoder-Decoder Language Model for Enhanced Understanding and Generation

• arxiv url: http://arxiv.org/abs/2401.14373v1
• Date: Thu, 25 Jan 2024 18:24:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 13:30:20.349723
• Title: TURNA: A Turkish Encoder-Decoder Language Model for Enhanced Understanding and Generation
• Title（参考訳）: turna: 理解と生成の強化を目的としたトルコのエンコーダ-デコーダ言語モデル
• Authors: G\"ok\c{c}e Uludo\u{g}an and Zeynep Yirmibe\c{s}o\u{g}lu Balal and Furkan Akkurt and Melik\c{s}ah T\"urker and Onur G\"ung\"or and Susan \"Usk\"udarl{\i}
• Abstract要約: 本稿では,低リソース言語トルコ語向けに開発された言語モデルTURNAを紹介する。 TURNAは、統一されたフレームワークUL2をベースにしたエンコーダデコーダアーキテクチャで事前訓練されている。 その結果,TURNAは理解タスクと生成タスクの両方において,複数の多言語モデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent advances in natural language processing have predominantly favored well-resourced English-centric models, resulting in a significant gap with low-resource languages. In this work, we introduce the language model TURNA, which is developed for the low-resource language Turkish and is capable of both natural language understanding and generation tasks. TURNA is pretrained with an encoder-decoder architecture based on the unified framework UL2 with a diverse corpus that we specifically curated for this purpose. We evaluated TURNA with three generation tasks and five understanding tasks for Turkish. The results show that TURNA outperforms several multilingual models in both understanding and generation tasks, and competes with monolingual Turkish models in understanding tasks. TURNA is made available at https://huggingface.co/boun-tabi-LMG/TURNA .
• Abstract（参考訳）: 近年の自然言語処理の進歩により、英語中心のモデルが好まれ、低リソース言語との大きな違いが生じた。 本研究では,低リソース言語であるトルコ語向けに開発された言語モデルTURNAを紹介し,自然言語の理解と生成を両立させる。 TURNAは、統一されたフレームワークUL2に基づくエンコーダデコーダアーキテクチャで事前訓練されている。 トルコ語ではTURNAを3世代タスクと5つの理解タスクで評価した。 その結果、TURNAは理解タスクと生成タスクの両方において複数の多言語モデルより優れており、理解タスクにおいて単言語トルコモデルと競合することがわかった。 TURNAはhttps://huggingface.co/boun-tabi-LMG/TURNAで入手できる。

関連論文リスト

• MURI: High-Quality Instruction Tuning Datasets for Low-Resource Languages via Reverse Instructions [54.08017526771947]
  MURI(Multilingual Reverse Instructions)は低リソース言語のための高品質な命令チューニングデータセットを生成する。 MURIは、低リソース言語における既存の人文テキストから命令出力ペアを生成する。 私たちのデータセットであるMURI-ITには200言語にまたがる200万以上の命令出力ペアが含まれています。
  論文  参考訳（メタデータ） (2024-09-19T17:59:20Z)
• Introducing cosmosGPT: Monolingual Training for Turkish Language Models [0.0]
  本研究では、この代替手法を用いて作成した宇宙GPTモデルについて紹介する。 次に、ユーザ要求を満たすための基本言語モデルのための新しいファインチューンデータセットと、トルコ語モデルの能力を測定するための新しい評価データセットを導入する。 その結果、モノリンガルコーパスで構築した言語モデルは、他に比べて約10倍小さいにもかかわらず、有望な性能を示した。
  論文  参考訳（メタデータ） (2024-04-26T11:34:11Z)
• CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
  本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。 CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
  論文  参考訳（メタデータ） (2024-04-03T02:21:46Z)
• Fine-tuning Transformer-based Encoder for Turkish Language Understanding Tasks [0.0]
  トルコ語のためのTransformerベースのモデルとベースラインベンチマークを提供する。 我々は、トルコのBERTモデル、BERTurkを多くの下流タスクに微調整し、トルコのベンチマークデータセットで評価した。
  論文  参考訳（メタデータ） (2024-01-30T19:27:04Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• Benchmarking Procedural Language Understanding for Low-Resource Languages: A Case Study on Turkish [2.396465363376008]
  トルコの手続き文書について事例研究を行う。 まず、トルコのwikiHowにおけるチュートリアルの数を2000から52,000に拡張し、自動翻訳ツールを使用します。 我々は、コーパス上のいくつかのダウンストリームタスクを生成する。例えば、アクションのリンク、ゴール推論、要約などである。
  論文  参考訳（メタデータ） (2023-09-13T03:42:28Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• Breaking Down Multilingual Machine Translation [74.24795388967907]
  マルチ言語学習は一般にエンコーダにとって有益であるが,ローソース言語(LRL)ではデコーダにのみ有益であることを示す。 LRLの多言語モデルと一対多モデルは、Aharoniらによって報告された最良の結果よりも優れています。
  論文  参考訳（メタデータ） (2021-10-15T14:57:12Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)
• lamBERT: Language and Action Learning Using Multimodal BERT [0.1942428068361014]
  本研究では,マルチモーダルBERT(lamBERT)モデルを用いた言語と行動学習を提案する。 実験は、エージェントが適切に振る舞うために言語理解を必要とするグリッド環境で行われる。 lamBERTモデルは、他のモデルと比較してマルチタスク設定や転送設定において高い報酬を得た。
  論文  参考訳（メタデータ） (2020-04-15T13:54:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。