Fugu-MT 論文翻訳(概要): From Classification to Generation: Insights into Crosslingual Retrieval Augmented ICL

論文の概要: From Classification to Generation: Insights into Crosslingual Retrieval Augmented ICL

arxiv url: http://arxiv.org/abs/2311.06595v3
Date: Sat, 2 Dec 2023 17:00:27 GMT
ステータス: 処理完了
システム内更新日: 2023-12-05 21:22:34.004488
Title: From Classification to Generation: Insights into Crosslingual Retrieval Augmented ICL
Title（参考訳）: 分類から生成へ:言語横断検索型ICLへの展望
Authors: Xiaoqian Li, Ercong Nie, Sheng Liang
Abstract要約: クロスランガル検索強化インコンテキスト学習(CREA-ICL)を利用した新しい手法を提案する。高ソース言語から意味論的に類似したプロンプトを抽出することにより、多言語事前学習言語モデル(MPLM)のゼロショット性能の向上を目指す。我々の手法は分類タスクを着実に改善するが、生成タスクでは課題に直面している。
参考スコア（独自算出の注目度）: 8.065775937617417
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The remarkable ability of Large Language Models (LLMs) to understand and follow instructions has sometimes been limited by their in-context learning (ICL) performance in low-resource languages. To address this, we introduce a novel approach that leverages cross-lingual retrieval-augmented in-context learning (CREA-ICL). By extracting semantically similar prompts from high-resource languages, we aim to improve the zero-shot performance of multilingual pre-trained language models (MPLMs) across diverse tasks. Though our approach yields steady improvements in classification tasks, it faces challenges in generation tasks. Our evaluation offers insights into the performance dynamics of retrieval-augmented in-context learning across both classification and generation domains.
Abstract（参考訳）: 大きな言語モデル(llm)が命令を理解して従う能力は、低リソース言語でのin-context learning(icl)性能によって制限されることがある。そこで本研究では,言語間検索強化型インコンテキスト学習(CREA-ICL)を活用した新しい手法を提案する。高リソース言語から意味的に類似したプロンプトを抽出することで、様々なタスクにわたる多言語事前学習言語モデル(mplm)のゼロショット性能を向上させることを目指している。我々のアプローチは分類タスクを着実に改善するが、生成タスクの課題に直面している。本評価は,分類領域と生成領域にまたがる検索文内学習の性能動態に関する知見を提供する。

関連論文リスト

ProverbEval: Exploring LLM Evaluation Challenges for Low-resource Language Understanding [15.93642619347214]
ProverbEvalは,証明に基づく低リソース言語の評価ベンチマークである。様々なLCMをベンチマークし、ベンチマークプロセスにおける変数を生成する要因を探索する。我々は、選択の順序、プロンプト言語の選択、タスクの可変性、生成タスクに特別な注意を払わなければならないと論じている。
論文参考訳（メタデータ） (2024-11-07T06:34:48Z)
Improving In-Context Learning with Small Language Model Ensembles [2.3499129784547654]
In-context Learning (ICL) は安価で効率的な代替手段であるが、高度な手法の精度と一致しない。本稿では,複数の微調整小言語モデル(SLM)の専門知識を活用することでICLを強化する新しいアプローチであるEnsemble SuperICLを提案する。
論文参考訳（メタデータ） (2024-10-29T09:02:37Z)
Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
論文参考訳（メタデータ） (2024-10-26T00:39:44Z)
Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文参考訳（メタデータ） (2024-04-11T04:22:15Z)
Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
論文参考訳（メタデータ） (2024-03-04T10:48:13Z)
Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
論文参考訳（メタデータ） (2024-02-19T15:07:32Z)
Crosslingual Retrieval Augmented In-context Learning for Bangla [8.065775937617417]
本稿では,テキスト内学習を付加した言語間検索を利用した先駆的手法を提案する。本研究では,多言語事前学習型言語モデル(MPLM)を用いて,Banglaタスクの性能向上を実現した。本評価では, 言語間検索の高速化により, ゼロショット性能に対してMPLMを安定的に改善できることを示す。
論文参考訳（メタデータ） (2023-11-01T15:32:50Z)
Pre-Trained Language-Meaning Models for Multilingual Parsing and Generation [14.309869321407522]
談話表現構造(DRS)に基づく多言語事前学習言語意味モデルを導入する。 DRSは言語中立であるため、非英語タスクの性能向上のために言語間移動学習が採用されている。自動評価の結果,本手法は多言語DSS解析とDSS-to-text生成の両タスクにおいて,最高の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-05-31T19:00:33Z)
Cross-lingual Lifelong Learning [53.06904052325966]
本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
論文参考訳（メタデータ） (2022-05-23T09:25:43Z)
Learning Multilingual Representation for Natural Language Understanding with Enhanced Cross-Lingual Supervision [42.724921817550516]
そこで本稿では,MAの代替として,DA(Decomposed attention)というネットワークを提案する。 DAは言語内注意(IA)と言語間注意(CA)から構成されており、それぞれ言語内および言語間監督をモデル化している。様々な言語間自然言語理解タスクの実験により、提案したアーキテクチャと学習戦略がモデルの言語間移動性を大幅に改善することが示された。
論文参考訳（メタデータ） (2021-06-09T16:12:13Z)
XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。