論文の概要: UDHRBench: Benchmarking Human Rights in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.15179v1
• Date: Sat, 10 Oct 2026 20:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.172481
• Title: UDHRBench: Benchmarking Human Rights in Large Language Models
• Title（参考訳）: UDHRBench: 大規模言語モデルにおける人権のベンチマーク
• Abstract要約: 本稿では,人権宣言に準拠する大規模言語モデルの評価のためのベンチマークであるUDHRBenchを紹介する。 データセットは、30記事すべてをカバーする質問に直面する1,124件の人権と、4つの大きな言語モデルからの4,496件の回答で構成されている。 我々の分析では、体系的かつ非自明なミスアライメントが明らかであり、違反は通常、一見合理的な推論によって生じることを示している。
• 参考スコア（独自算出の注目度）: 1.7717094933697675
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models are increasingly deployed in contexts requiring adherence to ethical and legal norms, yet their alignment with internationally recognized human rights standards remains underexplored. We introduce UDHRBench, a large-scale benchmark for operationalising the evaluation of large language model compliance with the Universal Declaration of Human Rights. The dataset comprises 1,124 human rights confronting questions covering all 30 articles and 4,496 responses from four large language models (ChatGPT, Grok, Gemini, and Fanar), manually annotated by experts for alignment, with high inter-annotator agreement ($κ= 0.801$). Our analysis reveals systematic and non-trivial misalignments, showing that violations typically arise through seemingly rational reasoning: appeals to efficiency, risk management, or scientific neutrality, rather than explicit rejection of rights. We further propose an LLM-as-a-Judge framework for automated evaluation using zero-shot and few-shot prompting, achieving 89.8\% weighted F1-score in detecting human-rights misalignment, alongside a novel Alignment Leniency Score that quantifies how judge models resolve ambiguous cases. The dataset, annotations, and code will be released as open-source resources (https://sina.birzeit.edu/UDHRBench).
• Abstract（参考訳）: 大規模言語モデルは、倫理的および法的規範の遵守を要求される文脈にますます展開されているが、国際的に認められた人権基準との整合性は未解明のままである。 UDHRBenchは,人権宣言に準拠する大規模言語モデルの評価を運用するための大規模ベンチマークである。 データセットは、30の論文すべてと4,496の回答(ChatGPT、Grok、Gemini、Fanar)をカバーし、専門家が手動でアノテートし、アノテータ間の合意(κ=0.801$)が高い。 我々の分析は、組織的かつ非自明なミスアライメントを明らかにし、違反は通常、明らかに合理的な理由から生じる、すなわち、権利の明示的な拒絶よりも、効率性、リスク管理、科学的中立性への訴えであることを示している。 さらに、ゼロショットと少数ショットプロンプトを用いた自動評価のためのLCM-as-a-Judgeフレームワークを提案し、判定モデルが曖昧なケースの解決方法を定量化する新しいアライメント・レニエンシスコアとともに、人間の不一致を検出する際の重み付きF1スコアを89.8 %達成した。 データセット、アノテーション、コードはオープンソースリソースとしてリリースされる(https://sina.birzeit.edu/UDHRBench)。

関連論文リスト

• Toward Human Rights Benchmarking for LLMs: A Pilot Methodology [0.002301825353472044]
  HumRightsBenchは、人権法の義務構造に基づく推論を評価するための、専門家が検証したシナリオベースの最初のベンチマークである。 モデル精度のスコアは、法的な推論タスクによって大きく異なります。
  論文  参考訳（メタデータ） (2026-08-10T22:09:05Z)
• BenGER: Benchmarking LLM Systems on Subsumption-Based Legal Reasoning in German Law [6.248207831601117]
  BenGERデータセットは、複数のレベルの法学教育にまたがる596の試験スタイルのフリーテキストの訴訟タスクと、531の短い教義的推論タスクの3つのコンポーネントで構成されている。 12の現代LLMシステム – クローズドフラッグシップ,効率指向,オープンウェイト – を,自動および判断に基づくメトリクスで評価する。
  論文  参考訳（メタデータ） (2026-05-27T09:03:59Z)
• When Do Language Models Endorse Limitations on Human Rights Principles? [82.84306700922664]
  我々は,大言語モデル(LLM)が人権宣言(UDHR)を含むトレードオフをどのようにナビゲートするかを評価する。 主要な11のLCMを分析した結果、モデルが政治的、公民的権利よりも経済的、社会的、文化的権利の制限を受け入れるという体系的なバイアスが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-04T16:01:53Z)
• Assessing Human Rights Risks in AI: A Framework for Model Evaluation [0.10195618602298682]
  我々は,人権リスクを計算的に評価する枠組みを提示することにより,アルゴリズム監査の分野に貢献する。 我々は、モデルを評価するアプローチを開発し、モデルが特定の人権にもたらすリスクのレベルについて根拠づけた主張を行う。 人権のアプローチは現実世界の害に重点を置いているため、デプロイされる特定のコンテキストにおいて、AIシステムを評価する必要がある。
  論文  参考訳（メタデータ） (2025-10-07T02:12:56Z)
• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
  本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。 GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
  論文  参考訳（メタデータ） (2023-03-29T12:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。