論文の概要: Hermit Kingdom Through the Lens of Multiple Perspectives: A Case Study of LLM Hallucination on North Korea

• arxiv url: http://arxiv.org/abs/2501.05981v1
• Date: Fri, 10 Jan 2025 14:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:27:38.648826
• Title: Hermit Kingdom Through the Lens of Multiple Perspectives: A Case Study of LLM Hallucination on North Korea
• Title（参考訳）: 多視点レンズによるハーミット王国--北朝鮮におけるLLM幻覚を事例として
• Authors: Eunjung Cho, Won Ik Cho, Soomin Seo,
• Abstract要約: 大きな言語モデル(LLM)における幻覚は、安全なデプロイメントにおいて重要な課題である。 この研究は、信頼できる情報源の欠如とセンセーショナルな虚偽の出現を特徴とする北朝鮮をケーススタディとしている。 我々は,最も優れた多言語LLMのいくつかが,重要な地政学的関心を持つ国で話される3つの言語において,北朝鮮に関する情報をいかに生成するかを探求し,評価する。
• 参考スコア（独自算出の注目度）: 6.242658047228021
• License:
• Abstract: Hallucination in large language models (LLMs) remains a significant challenge for their safe deployment, particularly due to its potential to spread misinformation. Most existing solutions address this challenge by focusing on aligning the models with credible sources or by improving how models communicate their confidence (or lack thereof) in their outputs. While these measures may be effective in most contexts, they may fall short in scenarios requiring more nuanced approaches, especially in situations where access to accurate data is limited or determining credible sources is challenging. In this study, we take North Korea - a country characterised by an extreme lack of reliable sources and the prevalence of sensationalist falsehoods - as a case study. We explore and evaluate how some of the best-performing multilingual LLMs and specific language-based models generate information about North Korea in three languages spoken in countries with significant geo-political interests: English (United States, United Kingdom), Korean (South Korea), and Mandarin Chinese (China). Our findings reveal significant differences, suggesting that the choice of model and language can lead to vastly different understandings of North Korea, which has important implications given the global security challenges the country poses.
• Abstract（参考訳）: 大規模な言語モデル(LLM)における幻覚は、特に誤情報を拡散する可能性があるため、安全なデプロイメントにおいて重要な課題である。 既存のソリューションの多くは、モデルを信頼できるソースに整合させることや、モデルがアウトプットに自信(あるいは欠如)を伝達する方法を改善することで、この問題に対処しています。 これらの測定は、ほとんどの文脈で有効であるが、特に正確なデータへのアクセスが制限されたり、信頼できる情報源を決定することが困難な状況において、より曖昧なアプローチを必要とするシナリオでは不足する可能性がある。 この研究では、信頼できる情報源の欠如とセンセーショナルな虚偽の出現を特徴とする北朝鮮を事例として捉えた。 本稿は、韓国(韓国)、韓国(韓国)、中国(中国)の3カ国で話されている3つの言語において、北朝鮮について、最も優れた多言語LLMと特定の言語モデルがどのように情報を生成するかを探求し、評価する。 我々の発見は大きな違いを示し、モデルと言語の選択が北朝鮮の理解を大きく変える可能性があることを示唆している。

関連論文リスト

• Qorgau: Evaluating LLM Safety in Kazakh-Russian Bilingual Contexts [40.0358736497799]
  大規模言語モデル(LLM)は有害なコンテンツを生成する可能性があることが知られている。 本稿では,カザフ語とロシア語の安全性評価に特化して設計された新しいデータセットであるQorgauを紹介する。
  論文  参考訳（メタデータ） (2025-02-19T11:33:22Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• XTRUST: On the Multilingual Trustworthiness of Large Language Models [14.128810448194699]
  大規模言語モデル(LLM)は、自然言語処理(NLP)タスクにまたがる顕著な機能を示している。 現在AIコミュニティが占めている重要な質問は、これらのモデルの能力と制限に関するものだ。 Xは、最初の総合的な多言語信頼性ベンチマークである。
  論文  参考訳（メタデータ） (2024-09-24T05:38:33Z)
• Unique Security and Privacy Threats of Large Language Model: A Comprehensive Survey [46.19229410404056]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げた。 これらのモデルは、強力な言語理解と生成能力を示すために、広大なデータセットでトレーニングされている。 プライバシーとセキュリティの問題は、そのライフサイクルを通じて明らかになっている。
  論文  参考訳（メタデータ） (2024-06-12T07:55:32Z)
• A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers [51.8203871494146]
  LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。 LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。 本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
  論文  参考訳（メタデータ） (2024-05-17T17:47:39Z)
• From One to Many: Expanding the Scope of Toxicity Mitigation in Language Models [10.807067327137855]
  言語モデルが多言語機能を取り入れているため、私たちの安全対策はペースを保ちます。 言語間で十分なアノテートされたデータセットがないため、私たちは翻訳データを用いて緩和手法を評価し、強化する。 これにより,翻訳品質と言語間移動が毒性軽減に及ぼす影響を検討することができる。
  論文  参考訳（メタデータ） (2024-03-06T17:51:43Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• COLD: A Benchmark for Chinese Offensive Language Detection [54.60909500459201]
  COLDatasetは、37kの注釈付き文を持つ中国の攻撃的言語データセットである。 また、人気のある中国語モデルの出力攻撃性を研究するために、textscCOLDetectorを提案する。 我々の資源と分析は、中国のオンラインコミュニティを解毒し、生成言語モデルの安全性を評価することを目的としている。
  論文  参考訳（メタデータ） (2022-01-16T11:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。