論文の概要: Resources and Few-shot Learners for In-context Learning in Slavic Languages

• arxiv url: http://arxiv.org/abs/2304.01922v1
• Date: Tue, 4 Apr 2023 16:16:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 13:14:28.814300
• Title: Resources and Few-shot Learners for In-context Learning in Slavic Languages
• Title（参考訳）: スラヴ語における文脈内学習のための資源と少数学習者
• Authors: Michal \v{S}tef\'anik and Marek Kadl\v{c}\'ik and Piotr Gramacki and Petr Sojka
• Abstract要約: スラヴ語における文脈内学習(ICL)の訓練と評価に必要なインフラを収集する。 直近のコンテキスト内学習者の集合を評価し,その結果を教師付きベースラインと比較する。 英語で調整されたICLモデルは、非英語の文脈からいくつかのタスクを学習することができる。
• 参考スコア（独自算出の注目度）: 0.22940141855172028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the rapid recent progress in creating accurate and compact in-context learners, most recent work focuses on in-context learning (ICL) for tasks in English. However, the ability to interact with users of languages outside English presents a great potential for broadening the applicability of language technologies to non-English speakers. In this work, we collect the infrastructure necessary for training and evaluation of ICL in a selection of Slavic languages: Czech, Polish, and Russian. We link a diverse set of datasets and cast these into a unified instructional format through a set of transformations and newly-crafted templates written purely in target languages. Using the newly-curated dataset, we evaluate a set of the most recent in-context learners and compare their results to the supervised baselines. Finally, we train, evaluate and publish a set of in-context learning models that we train on the collected resources and compare their performance to previous work. We find that ICL models tuned in English are also able to learn some tasks from non-English contexts, but multilingual instruction fine-tuning consistently improves the ICL ability. We also find that the massive multitask training can be outperformed by single-task training in the target language, uncovering the potential for specializing in-context learners to the language(s) of their application.
• Abstract（参考訳）: 正確でコンパクトなインコンテキスト学習者作成の急速な進歩にもかかわらず、最近の研究は英語でのタスクのインコンテキスト学習(icl)に焦点を当てている。 しかし、英語以外の言語のユーザと対話する能力は、非英語話者への言語技術の適用範囲を広げる大きな可能性を秘めている。 本研究は,チェコ語,ポーランド語,ロシア語などのスラヴ語の選択において,ICLの訓練と評価に必要なインフラを収集する。 さまざまなデータセットをリンクして,一連の変換と,純粋にターゲット言語で記述された新たなテンプレートを通じて,統一的なインストラクタ形式にキャストします。 新たに作成したデータセットを用いて,最新のin-context学習者のセットを評価し,その結果を教師付きベースラインと比較する。 最後に、収集したリソースに基づいてトレーニングし、そのパフォーマンスを以前の作業と比較する、一連のコンテキスト内学習モデルをトレーニング、評価、公開します。 英語で調整されたICLモデルは、非英語の文脈からタスクを学習できるが、多言語命令の微調整は一貫してICL能力を改善する。 また、大規模マルチタスクトレーニングは、ターゲット言語におけるシングルタスクトレーニングによってより優れており、コンテキスト内学習者をアプリケーションの言語に特化できる可能性を見出している。

関連論文リスト

• Concept-aware Data Construction Improves In-context Learning of Language Models [2.4715271879679395]
  従来の命令チューニングと比較して,概念認識型インコンテキスト学習が新しいタスクの大部分に有効であることを示す。 概念認識学習(CoAT)は,実演から類推的推論概念を学習する上で,LMにとって有益な訓練シナリオを構築するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-08T19:07:47Z)
• From Classification to Generation: Insights into Crosslingual Retrieval Augmented ICL [8.065775937617417]
  クロスランガル検索強化インコンテキスト学習(CREA-ICL)を利用した新しい手法を提案する。 高ソース言語から意味論的に類似したプロンプトを抽出することにより、多言語事前学習言語モデル(MPLM)のゼロショット性能の向上を目指す。 我々の手法は分類タスクを着実に改善するが、生成タスクでは課題に直面している。
  論文  参考訳（メタデータ） (2023-11-11T15:40:21Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Zero-Shot Cross-Lingual Transfer with Meta Learning [45.29398184889296]
  英語以外の言語ではほとんど、あるいは全くデータがない場合に、複数の言語でのトレーニングモデルの設定を同時に検討する。 メタラーニングを用いて、この挑戦的な設定にアプローチできることが示される。 我々は、標準教師付きゼロショットのクロスランガルと、異なる自然言語理解タスクのための数ショットのクロスランガル設定を用いて実験を行った。
  論文  参考訳（メタデータ） (2020-03-05T16:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。