論文の概要: Toward Human Rights Benchmarking for LLMs: A Pilot Methodology

• arxiv url: http://arxiv.org/abs/2608.10268v1
• Date: Mon, 10 Aug 2026 22:09:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.828967
• Title: Toward Human Rights Benchmarking for LLMs: A Pilot Methodology
• Title（参考訳）: LLMのヒューマン・ライツ・ベンチマークに向けて:パイロット・方法論
• Abstract要約: HumRightsBenchは、人権法の義務構造に基づく推論を評価するための、専門家が検証したシナリオベースの最初のベンチマークである。 モデル精度のスコアは、法的な推論タスクによって大きく異なります。
• 参考スコア（独自算出の注目度）: 0.002301825353472044
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) increasingly mediate legal determinations over what human rights are realized, and how. Yet, no evaluation benchmark exists to assess whether they can reason correctly about human rights law. To this end, we report our efforts to develop a robust and scalable methodology for creating HumRightsBench: the first expert-validated, scenario-based benchmark for evaluating reasoning grounded in the obligation structure of international human rights law. We adapt the IRAC framework for legal reasoning to better suit the unique reasoning patterns of human rights work (substituting P, "proposing remedies," for C, "legal conclusion," yielding IRAP) to structure our evaluation heuristics. We also produce a pilot series of authentic scenarios designed to implicate the many dimensions of real-world human rights issues and annotated by human rights lawyers and professionals across the world. Ultimately, we find that model accuracy scores range considerably across legal reasoning tasks (overall model performance ranges from 0.339 to 0.577, task min-max ranges from 0.025 to 0.774), which strongly implies that HumRightsBench is a capable instrument for advancing this emerging subfield of AI evaluations science at a critical moment in its evolution.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、人権が実現されたか、どのように実現されたかに関する法的判断を仲介する。 しかし、人権法について正しく判断できるかどうかを評価するための評価ベンチマークは存在しない。 この目的のために、我々はHumRightsBenchを作成するための堅牢でスケーラブルな方法論を開発するための取り組みを報告します。 我々は、法的理由づけのためにIRACの枠組みを適用し、人権労働のユニークな理由づけパターン(P、C、法的な結論、IRAP)に適合し、評価ヒューリスティックスを構築する。 また、現実世界の人権問題にまつわるさまざまな側面を暗示し、世界中の人権弁護士や専門家が注釈を付けるためのパイロットシナリオも作成しています。 最終的に、モデル精度のスコアは法的な推論タスク(全モデルパフォーマンスは0.339から0.577、タスクmin-maxは0.025から0.774)で大きく異なり、これはHumRightsBenchが、AI評価の新たなサブフィールドを進化において重要な瞬間に進化させるための有能な手段であることを強く示唆している。

関連論文リスト

• Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases [17.869207928898042]
  判例予測の文脈におけるLCMの理由について検討する。 我々は、欧州人権裁判所の訴訟を検問所として使用します。 検討されたモデルスコアは、法的な推論において理想とは程遠いことが判明した。
  論文  参考訳（メタデータ） (2026-08-17T22:11:22Z)
• When Do Language Models Endorse Limitations on Human Rights Principles? [82.84306700922664]
  我々は,大言語モデル(LLM)が人権宣言(UDHR)を含むトレードオフをどのようにナビゲートするかを評価する。 主要な11のLCMを分析した結果、モデルが政治的、公民的権利よりも経済的、社会的、文化的権利の制限を受け入れるという体系的なバイアスが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-04T16:01:53Z)
• LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
  我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。 LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。 LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
  論文  参考訳（メタデータ） (2026-01-31T10:18:32Z)
• PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
  本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。 PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。 人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
  論文  参考訳（メタデータ） (2026-01-23T11:36:10Z)
• ReGal: A First Look at PPO-based Legal AI for Judgment Prediction and Summarization in India [10.522785783474857]
  本稿では,Reinforcement Learning-based Legal Reasoning(ReGal)を紹介する。 本手法は, (i) 裁判所判断予測・説明(CJPE) と (ii) 法的文書要約の2つの重要な法的課題にまたがって評価される。
  論文  参考訳（メタデータ） (2025-12-19T19:13:41Z)
• Assessing Human Rights Risks in AI: A Framework for Model Evaluation [0.10195618602298682]
  我々は,人権リスクを計算的に評価する枠組みを提示することにより,アルゴリズム監査の分野に貢献する。 我々は、モデルを評価するアプローチを開発し、モデルが特定の人権にもたらすリスクのレベルについて根拠づけた主張を行う。 人権のアプローチは現実世界の害に重点を置いているため、デプロイされる特定のコンテキストにおいて、AIシステムを評価する必要がある。
  論文  参考訳（メタデータ） (2025-10-07T02:12:56Z)
• ClaimGen-CN: A Large-scale Chinese Dataset for Legal Claim Generation [56.79698529022327]
  法的な主張は、事件における原告の要求を言及し、法的理由づけと事件解決を導くのに不可欠である。 本稿では,その事例の事実に基づく法的クレーム生成の問題について考察する。 われわれは,中国法定クレーム生成タスクの最初のデータセットであるClaymGen-CNを構築した。
  論文  参考訳（メタデータ） (2025-08-24T07:19:25Z)
• An evidence-based methodology for human rights impact assessment (HRIA) in the development of AI data-intensive systems [49.1574468325115]
  我々は、すでに人権がデータ利用の分野で決定を下していることを示している。 本研究は人権影響評価(HRIA)の方法論とモデルである。 提案手法は,具体的ケーススタディで検証し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-07-30T16:27:52Z)
• CValues: Measuring the Values of Chinese Large Language Models from Safety to Responsibility [62.74405775089802]
  LLMのアライメント能力を測定するために,中国初の人的価値評価ベンチマークであるCValuesを提案する。 その結果、我々は10のシナリオにまたがる敵の安全プロンプトを手作業で収集し、8つのドメインから責任プロンプトを誘導した。 以上の結果から,ほとんどの中国のLLMは安全面では良好に機能するが,責任面では十分な改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2023-07-19T01:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。