論文の概要: Unlocking the Non-Native Language Context Limitation: Native Language Prompting Facilitates Knowledge Elicitation

• arxiv url: http://arxiv.org/abs/2408.03544v2
• Date: Fri, 16 Aug 2024 10:42:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 17:39:31.767746
• Title: Unlocking the Non-Native Language Context Limitation: Native Language Prompting Facilitates Knowledge Elicitation
• Title（参考訳）: 非負の言語コンテキスト制限を解き放つ:ネイティブ言語プロンプトは知識の抽出を促進する
• Authors: Baixuan Li, Yunlong Fan, Zhiqiang Gao,
• Abstract要約: 我々は,MLLMの主流言語を人間の多言語ネイティブ言語に類似させ,人間の多言語で観察されるPNLTをシミュレートするNative Language Prompting(NatLan)を提案する。 マルチMLLMコラボレーションを利用することで、NatLanはPNLTのシミュレーションにおいて各MLLMのワークロードを削減し、セマンティックトランスファーを洗練する。
• 参考スコア（独自算出の注目度）: 2.507940111547578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual large language models (MLLMs) struggle to answer questions posed in non-dominant languages, even though they have acquired the relevant knowledge from their dominant language corpus. In contrast, human multilinguals can overcome such non-native language context limitations through Positive Native Language Transfer (PNLT). Inspired by the process of PNLT, we analogize the dominant language of MLLMs to the native language of human multilinguals, and propose Native Language Prompting (NatLan) to simulate the PNLT observed in human multilinguals. It explicitly creates native language contexts for MLLMs to facilitate the elicitation of the rich native language knowledge during question-answering, unlocking the limitations imposed by non-native language contexts. By employing multi-MLLM collaboration, NatLan reduces the workload on each MLLM in simulating PNLT and refines semantic transfer. On the C-Eval benchmark, NatLan provides up to a 10.1% average accuracy improvement and up to a 5.0% increase in the hard-level subset across five MLLMs, surpassing all top-notch related methods. Our code is available at https://github.com/AnonyNLP/NatLan.
• Abstract（参考訳）: 多言語大言語モデル(MLLM)は、支配的言語コーパスから関連知識を得たにもかかわらず、支配的でない言語で提起された質問に答えるのに苦労する。 対照的に、人間の多言語は、Positive Native Language Transfer (PNLT)を通じて、そのような非ネイティブ言語コンテキストの制限を克服することができる。 PNLTのプロセスにインスパイアされ、MLLMの主流言語を人間の多言語ネイティブ言語に類似させ、人間の多言語で観察されるPNLTをシミュレートするNative Language Prompting(NatLan)を提案する。 MLLM用のネイティブ言語コンテキストを明示的に作成し、質問回答中にリッチなネイティブ言語知識の活用を容易にし、非ネイティブ言語コンテキストによって課される制限を解除する。 マルチMLLMコラボレーションを利用することで、NatLanはPNLTのシミュレーションにおいて各MLLMのワークロードを削減し、セマンティックトランスファーを洗練する。 C-Evalベンチマークでは、NatLanは平均精度を最大10.1%向上させ、5つのMLLMでハードレベルサブセットを最大5.0%増加させ、トップノッチ関連のメソッドをすべて上回っている。 私たちのコードはhttps://github.com/AnonyNLP/NatLan.comで公開されています。

関連論文リスト

• Language Imbalance Driven Rewarding for Multilingual Self-improving [35.1576728251478]
  大規模言語モデル(LLM)は多くのタスクで最先端のパフォーマンスを達成した。 この不均衡は、より広範なアプリケーションを制限する一方で、言語間の自然な選好ランキングを生成する。 我々は、支配的言語と非支配的言語との間の固有の不均衡を報酬信号として活用する、$textitLanguage Im Balance Driven Rewarding$を提案する。
  論文  参考訳（メタデータ） (2024-10-11T16:32:05Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets [4.653113033432781]
  多言語言語モデル(MLLM)の言語間伝達能力について検討した。 本研究は,言語間移動とそのNLP応用への応用に関する貴重な知見を提供する。
  論文  参考訳（メタデータ） (2024-03-29T08:47:15Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• How Vocabulary Sharing Facilitates Multilingualism in LLaMA? [19.136382859468693]
  大きな言語モデル(LLM)は英語のタスクに強いパフォーマンスを示すが、他の言語には制限がある。 本研究では,語彙共有の観点からLLMの多言語的能力について検討する。
  論文  参考訳（メタデータ） (2023-11-15T16:13:14Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Prompt Learning to Mitigate Catastrophic Forgetting in Cross-lingual Transfer for Open-domain Dialogue Generation [14.68491971816154]
  限られたデータを持つ非英語言語に対するオープンドメイン対話生成の文脈において,FS-XLTとマルチタスク学習(MTL)について検討した。 予備実験では,FS-XLT と MTL の両言語で破滅的忘れを観察した。 本稿では,多言語事前学習型言語モデルの多言語性を維持するための,シンプルで効果的なプロンプト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-12T11:41:16Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。