論文の概要: NatLan: Native Language Prompting Facilitates Knowledge Elicitation Through Language Trigger Provision and Domain Trigger Retention

• arxiv url: http://arxiv.org/abs/2408.03544v3
• Date: Tue, 15 Oct 2024 08:24:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 12:33:46.906536
• Title: NatLan: Native Language Prompting Facilitates Knowledge Elicitation Through Language Trigger Provision and Domain Trigger Retention
• Title（参考訳）: NatLan: 言語トリガーとドメイントリガーの保持を通じて,知識の解放を促進するネイティブ言語プロンプト
• Authors: Baixuan Li, Yunlong Fan, Tianyi Ma, Zhiqiang Gao,
• Abstract要約: 我々はMLLMの主流言語を人間の母国語に類似させ、2つの認知的特徴を用いて翻訳・翻訳・解答法を解釈する。 我々は、マルチMLLMコラボレーション戦略を採用し、新たなロール強化ドメイン固有MLLMを導入するNative Language Prompting(NatLan)を提案する。
• 参考スコア（独自算出の注目度）: 4.051397588437236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual large language models (MLLMs) do not perform as well when answering questions in non-dominant languages as they do in their dominant languages. Although existing translate-then-answer methods alleviate this issue, the mechanisms behind their effectiveness remain unclear. In this study, we analogize the dominant language of MLLMs to the native language of humans and use two human cognitive features: the Language Trigger (LT) and the Domain Trigger (DT), to interpret the mechanisms behind translate-then-answer methods. This reveals that while sufficient LTs are provided by these methods, there remains a deficiency in DT retention. To mitigate this issue, we propose Native Language Prompting (NatLan), employing a Multi-MLLM collaboration strategy and introducing an additional role-enhanced domain-specific MLLM with stronger multilingual understanding capabilities as the translator. Across five language QA benchmarks, NatLan achieves up to a 31.28% improvement in accuracy and, compared to existing state-of-the-art methods, provides comparable or greater retention of DTs in up to 87% of cases. Our code is available at https://github.com/AnonyNLP/NatLan.
• Abstract（参考訳）: MLLM(Multilingual Large Language Model)は、支配言語で行うような、支配言語以外の言語での質問に答える際には、あまり機能しない。 既存の翻訳解答法ではこの問題が緩和されているが、その効果のメカニズムはいまだ不明である。 本研究では,MLLMの主流言語を人間の母国語に類似させ,言語トリガー (LT) とドメイントリガー (DT) の2つの認知的特徴を用いて,翻訳答答法の背後にあるメカニズムを解釈する。 このことから,これらの方法によって十分なLTが提供される一方で,DT保持に不足があることが判明した。 この問題を軽減するために,複数MLLM協調戦略を採用したNative Language Prompting (NatLan)を提案する。 5つの言語QAベンチマークで、NatLanは31.28%の精度向上を実現している。 私たちのコードはhttps://github.com/AnonyNLP/NatLan.comで公開されています。

関連論文リスト

• Language Imbalance Driven Rewarding for Multilingual Self-improving [35.1576728251478]
  大規模言語モデル(LLM)は多くのタスクで最先端のパフォーマンスを達成した。 この不均衡は、より広範なアプリケーションを制限する一方で、言語間の自然な選好ランキングを生成する。 我々は、支配的言語と非支配的言語との間の固有の不均衡を報酬信号として活用する、$textitLanguage Im Balance Driven Rewarding$を提案する。
  論文  参考訳（メタデータ） (2024-10-11T16:32:05Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets [4.653113033432781]
  多言語言語モデル(MLLM)の言語間伝達能力について検討した。 本研究は,言語間移動とそのNLP応用への応用に関する貴重な知見を提供する。
  論文  参考訳（メタデータ） (2024-03-29T08:47:15Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• How Vocabulary Sharing Facilitates Multilingualism in LLaMA? [19.136382859468693]
  大きな言語モデル(LLM)は英語のタスクに強いパフォーマンスを示すが、他の言語には制限がある。 本研究では,語彙共有の観点からLLMの多言語的能力について検討する。
  論文  参考訳（メタデータ） (2023-11-15T16:13:14Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Prompt Learning to Mitigate Catastrophic Forgetting in Cross-lingual Transfer for Open-domain Dialogue Generation [14.68491971816154]
  限られたデータを持つ非英語言語に対するオープンドメイン対話生成の文脈において,FS-XLTとマルチタスク学習(MTL)について検討した。 予備実験では,FS-XLT と MTL の両言語で破滅的忘れを観察した。 本稿では,多言語事前学習型言語モデルの多言語性を維持するための,シンプルで効果的なプロンプト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-12T11:41:16Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。