論文の概要: mEdIT: Multilingual Text Editing via Instruction Tuning

• arxiv url: http://arxiv.org/abs/2402.16472v1
• Date: Mon, 26 Feb 2024 10:33:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 13:43:41.584545
• Title: mEdIT: Multilingual Text Editing via Instruction Tuning
• Title（参考訳）: mEdIT:インストラクションチューニングによる多言語テキスト編集
• Authors: Vipul Raheja and Dimitris Alikaniotis and Vivek Kulkarni and Bashar Alhafni and Dhruv Kumar
• Abstract要約: mEdITは、執筆支援のための最先端のテキスト編集モデルである。 我々は、公開されている複数人の注釈付きテキスト編集データセットからデータをキュレートしてmEdITを構築する。 我々は,mEdITが多言語ベースライン上の新しい言語に効果的に一般化できることを示す。
• 参考スコア（独自算出の注目度）: 8.96270380908663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce mEdIT, a multi-lingual extension to CoEdIT -- the recent state-of-the-art text editing models for writing assistance. mEdIT models are trained by fine-tuning multi-lingual large, pre-trained language models (LLMs) via instruction tuning. They are designed to take instructions from the user specifying the attributes of the desired text in the form of natural language instructions, such as Grammatik korrigieren (German) or Parafrasee la oraci\'on (Spanish). We build mEdIT by curating data from multiple publicly available human-annotated text editing datasets for three text editing tasks (Grammatical Error Correction (GEC), Text Simplification, and Paraphrasing) across diverse languages belonging to six different language families. We detail the design and training of mEdIT models and demonstrate their strong performance on many multi-lingual text editing benchmarks against other multilingual LLMs. We also find that mEdIT generalizes effectively to new languages over multilingual baselines. We publicly release our data, code, and trained models at https://github.com/vipulraheja/medit.
• Abstract（参考訳）: 我々はCoEdITの多言語拡張であるmEdITを紹介した。 meditモデルは、命令チューニングによって、多言語大言語事前学習言語モデル(llms)を微調整することで訓練される。 これらは、grammatik korrigieren (ドイツ語)やparafrasee la oraci\'on (スペイン語)のような自然言語命令の形で、ユーザーが所望のテキストの属性を指定するように設計されている。 我々は,3つのテキスト編集タスク(文法エラー補正(GEC),テキスト単純化,パラフレージング)を6つの言語ファミリーに属する多種多様な言語で表すために,公開されている複数の人手によるテキスト編集データセットからデータをキュレートしてmEdITを構築する。 我々は,mEdITモデルの設計と訓練について詳述し,多くの多言語テキスト編集ベンチマークにおいて,他の多言語LLMに対して強い性能を示す。 また、mEdITは多言語ベースライン上の新しい言語に効果的に一般化する。 データ、コード、トレーニングされたモデルをhttps://github.com/vipulraheja/medit.comで公開しています。

関連論文リスト

• MEMLA: Enhancing Multilingual Knowledge Editing with Neuron-Masked Low-Rank Adaptation [18.087144677674786]
  我々は多言語知識編集(MKE)に重点を置いており、複数の言語にまたがる更新の伝播が必要である。 12言語からなる新しいデータセットであるMKEB(Multilingual Knowledge Editing Benchmark)を紹介する。 また,ニューロンマスト型低ランク適応(MEMLA)による知識編集を促進する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T14:03:50Z)
• MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
  多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。 これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
  論文  参考訳（メタデータ） (2024-03-15T21:21:11Z)
• Cross-lingual Editing in Multilingual Language Models [1.3062731746155414]
  本稿では,言語間モデル編集(textbfXME)パラダイムを紹介し,事実を一つの言語で編集し,その後の更新伝搬を他の言語で観察する。 その結果,言語が2つの異なるスクリプトファミリーに属している場合を中心に,XME設定下での最先端のMETの性能制限が顕著に示された。
  論文  参考訳（メタデータ） (2024-01-19T06:54:39Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Unified Text Structuralization with Instruction-tuned Language Models [28.869098023025753]
  テキストから様々な構造を抽出する大規模言語モデル(LLM)を提案する。 実験により、様々な言語や知識のデータセット上で、言語モデルが他の最先端の手法と同等に動作できることが示されている。
  論文  参考訳（メタデータ） (2023-03-27T07:39:05Z)
• Language Anisotropic Cross-Lingual Model Editing [61.51863835749279]
  既存の作業はモノリンガルのシナリオのみを研究しており、言語間で同時に編集を行うための言語間転送能力が欠如している。 本稿では,並列コーパスを用いた一言語モデル編集手法を言語間シナリオに適用する枠組みを提案する。 本研究では,複数言語への編集の伝播における単言語ベースラインの失敗と,提案言語異方性モデル編集の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2022-05-25T11:38:12Z)
• LiLT: A Simple yet Effective Language-Independent Layout Transformer for Structured Document Understanding [33.78249073009646]
  構造化文書理解のための単純で効果的な言語非依存型レイアウト変換器(LiLT)を提案する。 LiLTは単一の言語の構造化ドキュメント上で事前訓練され、その後、他の言語で直接微調整される。 8言語の実験結果から、LiLTは様々なダウンストリームベンチマークにおいて、競争力や優れたパフォーマンスを達成可能であることが示されている。
  論文  参考訳（メタデータ） (2022-02-28T10:33:01Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。