論文の概要: Faux Polyglot: A Study on Information Disparity in Multilingual Large Language Models

• arxiv url: http://arxiv.org/abs/2407.05502v2
• Date: Mon, 5 Aug 2024 07:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 20:28:55.187724
• Title: Faux Polyglot: A Study on Information Disparity in Multilingual Large Language Models
• Title（参考訳）: Faux Polyglot:多言語大言語モデルにおける情報格差に関する研究
• Authors: Nikhil Sharma, Kenton Murray, Ziang Xiao,
• Abstract要約: Retrieval Augmented Generation (RAG)により、Large Language Models (LLM) は情報検索において重要な役割を担っている。 RAGに基づく情報検索において,LLMの言語的嗜好について検討した。 その結果,LLMは問合せ言語と同一言語における情報に対して,情報検索と回答生成の両方において,体系的な偏りを示した。
• 参考スコア（独自算出の注目度）: 7.615938028813914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With Retrieval Augmented Generation (RAG), Large Language Models (LLMs) are playing a pivotal role in information search and are being adopted globally. Although the multilingual capability of LLMs offers new opportunities to bridge the language barrier, do these capabilities translate into real-life scenarios where linguistic divide and knowledge conflicts between multilingual sources are known occurrences? In this paper, we studied LLM's linguistic preference in a RAG-based information search setting. We found that LLMs displayed systemic bias towards information in the same language as the query language in both information retrieval and answer generation. Furthermore, in scenarios where there is little information in the language of the query, LLMs prefer documents in high-resource languages, reinforcing the dominant views. Such bias exists for both factual and opinion-based queries. Our results highlight the linguistic divide within multilingual LLMs in information search systems. The seemingly beneficial multilingual capability of LLMs may backfire on information parity by reinforcing language-specific information cocoons or filter bubbles further marginalizing low-resource views.
• Abstract（参考訳）: Retrieval Augmented Generation (RAG)により、Large Language Models (LLM) は情報検索において重要な役割を担い、世界中で採用されている。 LLMの多言語能力は言語障壁を橋渡しする新たな機会を提供するが、これらの能力は言語分割と多言語ソース間の知識衝突が既知の実生活シナリオに変換されるのか? 本稿では,RAGに基づく情報検索におけるLLMの言語的嗜好について検討した。 その結果,LLMは問合せ言語と同一言語における情報に対して,情報検索と回答生成の両方において,体系的な偏りを示した。 さらに、クエリの言語にはほとんど情報がないシナリオでは、LLMは高ソース言語でのドキュメントを好んで、支配的なビューを補強する。 このようなバイアスは、事実と意見に基づくクエリの両方に存在します。 本研究は,情報検索システムにおける多言語 LLM の言語的分割に注目した。 LLMの一見有益と思われる多言語能力は、低リソースのビューをさらにマージする言語固有の情報コクーンやフィルタバブルを強化することで、情報平準性に反する可能性がある。

関連論文リスト

• Not All Languages are Equal: Insights into Multilingual Retrieval-Augmented Generation [38.631934251052485]
  我々は,このベンチマークを用いて6つの多言語ALMを評価し,多言語ALMの課題について検討した。 オープンソースの言語はモノリンガル知識抽出において際立っている。 インド・ヨーロッパ語は RALM を指導し、文書から直接回答を提供する。 英語は、ALMsの選択バイアスから恩恵を受け、多言語知識の選択においてより大声で話す。
  論文  参考訳（メタデータ） (2024-10-29T11:53:19Z)
• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Beneath the Surface of Consistency: Exploring Cross-lingual Knowledge Representation Sharing in LLMs [31.893686987768742]
  言語モデルは、言語全体で同じ事実に答える能力に矛盾する。 モデルがクエリに一貫して答える能力と、複数の言語で共有された表現で'ストア'する能力の2つの側面から、多言語的な事実知識を探求する。
  論文  参考訳（メタデータ） (2024-08-20T08:38:30Z)
• Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models [22.859955360764275]
  本稿では,MultiLingual Needle-in-a-Haystack(MLNeedle)テストを導入する。 我々はMLNeedleの4つの最先端の大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2024-08-19T17:02:06Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Teaching LLMs to Abstain across Languages via Multilingual Feedback [40.84205285309612]
  多言語フィードバックは,多様な言語,文化,コミュニティ間の知識ギャップを識別する上で有効であることを示す。 大規模な実験により、多言語フィードバックアプローチは、様々な強いベースラインよりも優れていることが示された。 さらに分析したところ、多言語フィードバックは多言語話者に役立てるための効果的かつ公平な回避戦略であることがわかった。
  論文  参考訳（メタデータ） (2024-06-22T21:59:12Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers [51.8203871494146]
  LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。 LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。 本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
  論文  参考訳（メタデータ） (2024-05-17T17:47:39Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Don't Trust ChatGPT when Your Question is not in English: A Study of Multilingual Abilities and Types of LLMs [16.770697902481107]
  大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。 本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。 その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
  論文  参考訳（メタデータ） (2023-05-24T02:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。