論文の概要: Learn and Unlearn in Multilingual LLMs

• arxiv url: http://arxiv.org/abs/2406.13748v2
• Date: Fri, 13 Dec 2024 06:55:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:01:02.487708
• Title: Learn and Unlearn in Multilingual LLMs
• Title（参考訳）: 多言語LLMにおける学習と学習
• Authors: Taiming Lu, Philipp Koehn,
• Abstract要約: 本稿では,多言語大言語モデル(LLM)における有害情報の伝播について検討する。 フェイク情報は、どのような言語であっても、異なる言語にまたがって広がり、生成されたコンテンツの完全性と信頼性を損なう。 標準のアンラーニング技術は、典型的には英語データに焦点を当てるが、多言語文脈における有害なコンテンツの拡散を緩和するには不十分である。
• 参考スコア（独自算出の注目度）: 11.42788038138136
• License:
• Abstract: This paper investigates the propagation of harmful information in multilingual large language models (LLMs) and evaluates the efficacy of various unlearning methods. We demonstrate that fake information, regardless of the language it is in, once introduced into these models through training data, can spread across different languages, compromising the integrity and reliability of the generated content. Our findings reveal that standard unlearning techniques, which typically focus on English data, are insufficient in mitigating the spread of harmful content in multilingual contexts and could inadvertently reinforce harmful content across languages. We show that only by addressing harmful responses in both English and the original language of the harmful data can we effectively eliminate generations for all languages. This underscores the critical need for comprehensive unlearning strategies that consider the multilingual nature of modern LLMs to enhance their safety and reliability across diverse linguistic landscapes.
• Abstract（参考訳）: 本稿では,多言語大言語モデル (LLM) における有害情報の伝播について検討し,様々な未学習手法の有効性を評価する。 疑似情報は、どのような言語であっても、トレーニングデータを通じてこれらのモデルに導入されると、異なる言語に分散し、生成されたコンテンツの完全性と信頼性を損なうことができることを実証する。 その結果,英語データに重点を置く標準のアンラーニング手法は,多言語文脈における有害なコンテンツの拡散を緩和するには不十分であり,言語間の有害なコンテンツを必然的に強化できる可能性が示唆された。 英語と原語の双方で有害な応答に対処することで、すべての言語の世代を効果的に排除できることを示す。 このことは、多様な言語環境における安全性と信頼性を高めるために、現代のLLMの多言語性を考える包括的なアンラーニング戦略に対する批判的な必要性を浮き彫りにしている。

関連論文リスト

• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Teaching LLMs to Abstain across Languages via Multilingual Feedback [40.84205285309612]
  多言語フィードバックは,多様な言語,文化,コミュニティ間の知識ギャップを識別する上で有効であることを示す。 大規模な実験により、多言語フィードバックアプローチは、様々な強いベースラインよりも優れていることが示された。 さらに分析したところ、多言語フィードバックは多言語話者に役立てるための効果的かつ公平な回避戦略であることがわかった。
  論文  参考訳（メタデータ） (2024-06-22T21:59:12Z)
• Towards Truthful Multilingual Large Language Models: Benchmarking and Alignment Strategies [38.3269908062146]
  多言語シナリオにおける真理性評価のためのベンチマークを構築する。 多数の言語にまたがるデータ割り当てを最適化するために,Fact-aware Multilingual Selective Synergy (FaMSS)を提案する。
  論文  参考訳（メタデータ） (2024-06-20T15:59:07Z)
• Cross-Lingual Unlearning of Selective Knowledge in Multilingual Language Models [38.10962690551031]
  事前訓練された言語モデルは、プライベートデータや著作権データを含む膨大な量の情報を記憶し、重大な安全上の懸念を提起する。 センシティブなデータを除いた後、これらのモデルをリトレーニングすることは違法に高価であり、機械学習は実用的で費用対効果の高い代替手段となる。 本稿では,多言語モデルにおける機械学習の先駆的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-18T07:40:18Z)
• From One to Many: Expanding the Scope of Toxicity Mitigation in Language Models [10.807067327137855]
  言語モデルが多言語機能を取り入れているため、私たちの安全対策はペースを保ちます。 言語間で十分なアノテートされたデータセットがないため、私たちは翻訳データを用いて緩和手法を評価し、強化する。 これにより,翻訳品質と言語間移動が毒性軽減に及ぼす影響を検討することができる。
  論文  参考訳（メタデータ） (2024-03-06T17:51:43Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
  従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。 メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
  論文  参考訳（メタデータ） (2020-10-06T20:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。