論文の概要: Multilingual Prompting for Improving LLM Generation Diversity

• arxiv url: http://arxiv.org/abs/2505.15229v1
• Date: Wed, 21 May 2025 07:59:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.211634
• Title: Multilingual Prompting for Improving LLM Generation Diversity
• Title（参考訳）: LLM生成の多様性向上のための多言語プロンプト
• Authors: Qihan Wang, Shidong Pan, Tal Linzen, Emily Black,
• Abstract要約: 大きな言語モデル(LLM)は、その世代における文化的表現と全体的な多様性が欠如していることが知られている。 多言語プロンプト(multilingual prompting) - 複数の文化からの文化的・言語的手がかりを付加したベースプロンプトの様々なバリエーションを生成するプロンプト手法を提案する。
• 参考スコア（独自算出の注目度）: 21.092757338375037
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) are known to lack cultural representation and overall diversity in their generations, from expressing opinions to answering factual questions. To mitigate this problem, we propose multilingual prompting: a prompting method which generates several variations of a base prompt with added cultural and linguistic cues from several cultures, generates responses, and then combines the results. Building on evidence that LLMs have language-specific knowledge, multilingual prompting seeks to increase diversity by activating a broader range of cultural knowledge embedded in model training data. Through experiments across multiple models (GPT-4o, GPT-4o-mini, LLaMA 70B, and LLaMA 8B), we show that multilingual prompting consistently outperforms existing diversity-enhancing techniques such as high-temperature sampling, step-by-step recall, and personas prompting. Further analyses show that the benefits of multilingual prompting vary with language resource level and model size, and that aligning the prompting language with the cultural cues reduces hallucination about culturally-specific information.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、意見の表現から事実的疑問への回答まで、文化的表現と全体的な多様性が欠如していることが知られている。 この問題を軽減するために,複数の文化からの文化的・言語的手がかりを付加したベースプロンプトのバリエーションを複数生成し,応答を生成し,結果を組み合わせた多言語プロンプト手法を提案する。 LLMが言語固有の知識を持っているという証拠に基づいて、多言語的なプロンプトは、モデルトレーニングデータに埋め込まれた幅広い文化的知識を活性化することによって多様性を高めることを目指している。 複数モデル(GPT-4o, GPT-4o-mini, LLaMA 70B, LLaMA 8B)にわたる実験により, マルチリンガル・プロンプトは, 高温サンプリング, ステップバイステップリコール, ペルソナ・プロンプトなど, 既存の多様性向上技術より一貫して優れていることを示した。 さらに分析した結果,多言語的プロンプトの利点は言語資源のレベルやモデルサイズによって異なり,また,プロンプト的言語と文化的手がかりとの整合性は,文化的な情報に対する幻覚を減少させることがわかった。

関連論文リスト

• Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages [55.36534539177367]
  本稿では,39言語にまたがる多様な6M命令データセットに基づいて訓練された多言語多言語多言語大言語モデル(MLLM)であるPangeaを紹介する。 P Pangeaは、多言語設定や多様な文化的コンテキストにおいて、既存のオープンソースモデルよりも大幅に優れています。 我々は、包括的で堅牢な多言語MLLMの開発を容易にするために、データ、コード、訓練されたチェックポイントを完全にオープンソースにしています。
  論文  参考訳（メタデータ） (2024-10-21T16:19:41Z)
• Teaching LLMs to Abstain across Languages via Multilingual Feedback [40.84205285309612]
  多言語フィードバックは,多様な言語,文化,コミュニティ間の知識ギャップを識別する上で有効であることを示す。 大規模な実験により、多言語フィードバックアプローチは、様々な強いベースラインよりも優れていることが示された。 さらに分析したところ、多言語フィードバックは多言語話者に役立てるための効果的かつ公平な回避戦略であることがわかった。
  論文  参考訳（メタデータ） (2024-06-22T21:59:12Z)
• MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
  MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。 MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。 MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-04-07T15:23:28Z)
• Investigating Cultural Alignment of Large Language Models [10.738300803676655]
  LLM(Large Language Models)は,異なる文化で採用されている多様な知識を真にカプセル化していることを示す。 社会学的調査をシミュレートし、実際の調査参加者のモデル応答を参考として、文化的アライメントの定量化を行う。 本稿では,人類学的推論を活用し,文化的アライメントを高める新しい手法である人類学的プロンプティングを紹介する。
  論文  参考訳（メタデータ） (2024-02-20T18:47:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。