論文の概要: Analysis of LLM Bias (Chinese Propaganda & Anti-US Sentiment) in DeepSeek-R1 vs. ChatGPT o3-mini-high

• arxiv url: http://arxiv.org/abs/2506.01814v1
• Date: Mon, 02 Jun 2025 15:54:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.598749
• Title: Analysis of LLM Bias (Chinese Propaganda & Anti-US Sentiment) in DeepSeek-R1 vs. ChatGPT o3-mini-high
• Title（参考訳）: DeepSeek-R1 vs. ChatGPT o3-mini-highにおけるLDMバイアスの解析
• Authors: PeiHsuan Huang, ZihWei Lin, Simon Imbot, WenCheng Fu, Ethan Tu,
• Abstract要約: DeepSeek-R1は、プロパガンダと反米感情の両方において、かなり高い割合を示した。 これらの偏見は政治的な話題に限らず、文化やライフスタイルのコンテンツにも浸透した。
• 参考スコア（独自算出の注目度）: 0.40329768057075643
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) increasingly shape public understanding and civic decisions, yet their ideological neutrality is a growing concern. While existing research has explored various forms of LLM bias, a direct, cross-lingual comparison of models with differing geopolitical alignments-specifically a PRC-system model versus a non-PRC counterpart-has been lacking. This study addresses this gap by systematically evaluating DeepSeek-R1 (PRC-aligned) against ChatGPT o3-mini-high (non-PRC) for Chinese-state propaganda and anti-U.S. sentiment. We developed a novel corpus of 1,200 de-contextualized, reasoning-oriented questions derived from Chinese-language news, presented in Simplified Chinese, Traditional Chinese, and English. Answers from both models (7,200 total) were assessed using a hybrid evaluation pipeline combining rubric-guided GPT-4o scoring with human annotation. Our findings reveal significant model-level and language-dependent biases. DeepSeek-R1 consistently exhibited substantially higher proportions of both propaganda and anti-U.S. bias compared to ChatGPT o3-mini-high, which remained largely free of anti-U.S. sentiment and showed lower propaganda levels. For DeepSeek-R1, Simplified Chinese queries elicited the highest bias rates; these diminished in Traditional Chinese and were nearly absent in English. Notably, DeepSeek-R1 occasionally responded in Simplified Chinese to Traditional Chinese queries and amplified existing PRC-aligned terms in its Chinese answers, demonstrating an "invisible loudspeaker" effect. Furthermore, such biases were not confined to overtly political topics but also permeated cultural and lifestyle content, particularly in DeepSeek-R1.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、公衆の理解と市民の判断をますます形作るが、そのイデオロギー的中立性はますます懸念される。 既存の研究は様々な LLM バイアスの形式を探索してきたが、地理的アライメントが異なるモデル、特にPRC と非PRC のモデルとの直接的・言語的比較は欠如している。 本研究は、中国国家プロパガンダと反米感情に対するChatGPT o3-mini-high(非PRC)に対するDeepSeek-R1(PRC-アライメント)を体系的に評価することにより、このギャップに対処する。 簡体字中国語,中国語,英語で提示された中国語ニュースから導かれる,1200の非コンテクスチュアライズされた推論指向の質問文のコーパスを開発した。 両モデル (総計7,200名) の回答は, GPT-4oスコアとヒトアノテーションを併用したハイブリッド評価パイプラインを用いて評価した。 以上より,モデルレベルおよび言語依存バイアスが顕著であった。 DeepSeek-R1は、ChatGPT o3-mini-highと比較してプロパガンダと反アメリカ偏見の比率がかなり高く、反米国感情がほとんどなく、プロパガンダのレベルも低い。 DeepSeek-R1では、簡素な中国語のクェリが最も高いバイアス率を示しており、これらは伝統的な中国語では減少し、英語ではほとんど欠落していた。 特に、DeepSeek-R1は時折、簡素な中国語のクェリに応答し、既存のPRC対応用語を中国語の回答に増幅し、「目に見えないスピーカー」効果を示した。 さらに,このような偏見は政治的話題に限らず,特にDeepSeek-R1では文化やライフスタイルの内容を浸透させた。

関連論文リスト

• Exploring Multimodal Challenges in Toxic Chinese Detection: Taxonomy, Benchmark, and Findings [48.841514684592426]
  我々は、有害な中国語検出に言語モデルをデプロイする上で重要な課題として、中国語のマルチモーダル性を強調した。 まず,3つの摂動戦略の分類法と,有毒な中国コンテンツに対する8つの具体的なアプローチを提案する。 そして、この分類に基づいてデータセットをキュレートし、9つのSOTA LLM(米国と中国)をベンチマークして、乱れた有毒な漢文を検出できるかどうかを評価する。
  論文  参考訳（メタデータ） (2025-05-30T08:32:45Z)
• R1dacted: Investigating Local Censorship in DeepSeek's R1 Language Model [17.402774424821814]
  報道によると、R1は中国の政治的にセンシティブなトピックに関する特定のプロンプトに答えることを拒否している。 我々は、R1によって検閲されるが、他のモデルでは検閲されない、厳格にキュレートされたプロンプトの大規模なセットを導入する。 我々はR1の検閲パターンを包括的に分析し、一貫性、トリガー、トピック間のバリエーション、フレーズのプロンプト、コンテキストを調べます。
  論文  参考訳（メタデータ） (2025-05-19T02:16:56Z)
• Mapping Geopolitical Bias in 11 Large Language Models: A Bilingual, Dual-Framing Analysis of U.S.-China Tensions [2.8202443616982884]
  本研究は,11大言語モデル(LLM)における地政学的バイアスを系統的に解析する。 モデル出力のイデオロギー的傾きを検出するために,19,712個のプロンプトを作成した。 米国をベースとしたモデルは、主に米国支持の姿勢を好んでおり、一方中国のモデルでは、中国支持の偏見が顕著であった。
  論文  参考訳（メタデータ） (2025-03-31T03:38:17Z)
• White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
  社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。 LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。 LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Red AI? Inconsistent Responses from GPT3.5 Models on Political Issues in the US and China [13.583047010078648]
  本稿では,GPTの多言語モデルにおける政治的バイアスについて検討する。 我々は、米国と中国の政治問題に関して、英語と簡体字の両方でGPTに同じ疑問を提起した。 両言語対応の分析の結果,GPTの政治的「知識」と政治的「態度」が中国の政治問題に大きく矛盾していることが判明した。
  論文  参考訳（メタデータ） (2023-12-15T16:25:56Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• CHBias: Bias Evaluation and Mitigation of Chinese Conversational Language Models [30.400023506841503]
  中国語会話言語モデルのバイアス評価と緩和のための新しい中国語データセットCHBiasを導入する。 我々は、CHBiasを用いて、CDial-GPTとEVA2.0の2つの中国語会話モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-05-18T18:58:30Z)
• CORGI-PM: A Chinese Corpus For Gender Bias Probing and Mitigation [28.38578407487603]
  高品質なラベル付き32.9k文を含む中国語cOrpus foR Gender bIas Probing and Mitigation CORGI-PMを提案する。 我々は,テキスト性バイアスを自動的に検出し,分類し,緩和するモデルを必要とする,テキスト性バイアスを緩和する3つの課題に対処する。 CORGI-PMは、性偏見と緩和のための最初の文レベルの中国語コーパスである。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• COLD: A Benchmark for Chinese Offensive Language Detection [54.60909500459201]
  COLDatasetは、37kの注釈付き文を持つ中国の攻撃的言語データセットである。 また、人気のある中国語モデルの出力攻撃性を研究するために、textscCOLDetectorを提案する。 我々の資源と分析は、中国のオンラインコミュニティを解毒し、生成言語モデルの安全性を評価することを目的としている。
  論文  参考訳（メタデータ） (2022-01-16T11:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。