論文の概要: Evaluating Bias in Chinese Large Language Models across Tasks and Registers: Task Operationalization Effects and Irony Classification Risks

• arxiv url: http://arxiv.org/abs/2610.14464v1
• Date: Sat, 10 Oct 2026 01:41:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 13:21:18.9104
• Title: Evaluating Bias in Chinese Large Language Models across Tasks and Registers: Task Operationalization Effects and Irony Classification Risks
• Title（参考訳）: タスクとレジスターにわたる中国語大言語モデルのバイアス評価:タスク操作効果と皮肉な分類リスク
• Abstract要約: 中国のコンテンツガバナンスでは、大きな言語モデルは、有害で差別的な表現を識別するためにますます使われています。 複数の中国語大言語モデルの行動監査を行った。 明示的な皮肉認識により、介入パネルのエラー率は9.6ポイント削減される。
• 参考スコア（独自算出の注目度）: 19.52535812596676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Chinese content governance, large language models are increasingly used to identify toxic and discriminatory expressions, yet both task operationalization and ironic expression can alter bias measurement readings. We conducted a preregistered multi-task behavioral audit of multiple Chinese large language models. In the content classification experiment, the core panel's classification error rate rose from 10.9% in the formal register to 23.5% in the yinyang (an echoic-irony register) version, a risk difference of +12.7 percentage points. (95% CI [+9.7, +15.7]). Inter-rater agreement was lower in the yinyang register (majority-vote kappa = 0.299), so the increase contains a component of label uncertainty propagation, but the direction of increase was consistent under both adjudicated and majority-vote reference standards. Explicit irony-aware prompts reduced the intervention panel's error rate by 9.6 percentage points. We operationalized the 29 shared proposition anchors into three task forms: social consensus estimation (Form A), high-stakes decision (Form B), and controlled association rating (Form C); independent manipulation checks found that all 58 A-C comparison units received unanimous agreement, whereas the low A-B convergence was confirmed by calibrated majority adjudication (87.8% supporting the minority judgment); on the irony-probe materials, the interactions of B and C relative to A were +0.577 and +1.121, respectively. Thus, when evaluating large language models for Chinese content governance, the effect of task operationalization on bias readings is an empirical question that requires data to answer, and safety evaluation should incorporate the ironic register as a test condition.
• Abstract（参考訳）: 中国のコンテンツガバナンスでは、有害かつ差別的な表現を識別するために、大きな言語モデルがますます使われていますが、タスクの運用と皮肉な表現の両方がバイアス測定の読みを変えることができます。 我々は,複数の中国語大言語モデルのマルチタスク行動監査を行った。 コンテンツ分類実験では、コアパネルの分類エラー率は、正式なレジスタでは10.9%から、yinyangバージョンでは23.5%に増加し、リスク差は+12.7ポイントとなった。 (95% CI [+9.7, +15.7])。 yinyang register(majority-vote kappa = 0.299)では,ラッター間合意が低かったため,ラベルの不確実性伝播の成分が増加傾向にあった。 明示的な皮肉認識により、介入パネルのエラー率は9.6ポイント削減される。 社会的コンセンサス評価(フォームA)、高いコンセンサス判定(フォームB)、制御されたアソシエーション評価(フォームC)の3つのタスク形式に29の共有提案アンカーを運用し、それぞれ58のA-C比較ユニットが一致し、低いA-B収束は校正多数決(87.8%がマイノリティ判断を支持している)により確認され、皮肉な材料では、Aに対するBとCの相互作用は+0.577と+1.121であった。 したがって、中国のコンテンツガバナンスのための大規模言語モデルを評価する場合、偏見読解に対するタスク運用の影響は、データに答える必要のある実証的な問題であり、安全評価はテスト条件として皮肉レジスタを組み込むべきである。

関連論文リスト

• Knowing the Rules, Applying the Rules: Evaluating Language Models on Traditional Chinese Bazi [3.9284118537921273]
  ドメイン・ルールを知ることはケースに適用することを保証しません。 従来の中国語のバチ語では、3000の中国語の多重選択質問を通してこの区別を研究している。 理論精度はあらゆるシステムのケース精度を超える。
  論文  参考訳（メタデータ） (2026-10-05T01:50:02Z)
• GYROval: A Robust Benchmark for Cultural Value Orientation in Large Language Models [70.36032466145112]
  GYROvalは、大きな言語モデルにおける文化的価値の向きを測定するためのベンチマークである。 また、20モデルのうち11モデルが同じ項目の対訳と第2のサンプリング温度を施した。
  論文  参考訳（メタデータ） (2026-09-16T09:38:38Z)
• CARRE: Counterfactual Action Retrieval and Reason Evaluation for Explainable Churn Prescription [5.823033362443801]
  CARREは,検索強化候補生成,費用対効果評価,大規模言語モデル(LLM)推論を組み合わせた3段階のフレームワークである。 IBM Telco Customer Churnデータセットでは、CARREは通常のSHAPベースラインよりも79.8%高い平均モデル予測リスク削減を実現している。
  論文  参考訳（メタデータ） (2026-09-09T06:08:02Z)
• Contrastive ESA: Human Evaluation of Multiple Translations at Once [45.918020796451536]
  Contrastive Error Spanを紹介します。 (cESA) ソース入力(テキスト、ビデオ、オーディオ、画像)の複数翻訳を行うプロトコル。 cESAでは、アノテータは同じ文書の複数の翻訳を見て、メジャーとマイナーのエラースパンをマークし、絶対スケールでスコアを0%から100%に割り当てる。 我々は,12モデルの日本語翻訳を人体で大規模に評価したcESAを検証し,標準点評価と比較して注釈時間と雑音の低減を実証した。
  論文  参考訳（メタデータ） (2026-07-29T09:01:59Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Preserving Disagreement: Architectural Heterogeneity and Coherence Validation in Multi-Agent Policy Simulation [0.0]
  政策シミュレーションにおいて,大規模言語モデル(LLM)を用いたマルチエージェント検討システムの提案が進んでいる。 評価エージェントは、割り当てられた値の観点に関わらず、同じ選択肢に収束する。 我々は、三段階の審議フレームワークであるAI Councilを提示し、2つの介入をテストするための2つの政策シナリオにわたる120の審議を行う。
  論文  参考訳（メタデータ） (2026-04-29T11:47:28Z)
• How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
  共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。 実際には、これは相関した推論パターンと同期された障害として現れます。 ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
  論文  参考訳（メタデータ） (2026-04-08T23:32:06Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)
• An Auditable Pipeline for Fuzzy Full-Text Screening in Systematic Reviews: Integrating Contrastive Semantic Highlighting and LLM Judgment [0.0]
  フルテキストのスクリーニングは、体系的なレビューの大きなボトルネックです。 私たちは、ファジィな決定問題として包摂/排除を再設計する、スケーラブルで監査可能なパイプラインを提示します。
  論文  参考訳（メタデータ） (2025-08-17T17:41:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。