論文の概要: HEARSAYBENCH: Can AI Navigate from Abstract Human Rights to Lived Lives?

• arxiv url: http://arxiv.org/abs/2610.39062v1
• Date: Wed, 28 Oct 2026 23:49:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 07:59:04.683379
• Title: HEARSAYBENCH: Can AI Navigate from Abstract Human Rights to Lived Lives?
• Title（参考訳）: HEARSAYBENCH: AIは、抽象人権から生きた生活へナビゲートできるのか?
• Abstract要約: HEARSAYBENCHは、人と権利の行使の間に構造的障壁が立つシナリオに基礎を置いている、地域内の人間による検証を伴う400のテストケースのデータセットである。 すべてのモデルは、ユーザーの状況をアドバイスするよりも正確に推測するが、より強力なモデルはこのギャップを狭める。 HEARSAYBENCHは、この障害を推定可能とし、想定されるよりもむしろ世界に仕えるシステムへの一歩である。
• 参考スコア（独自算出の注目度）: 12.571621696620165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) reach users worldwide, personal counseling has emerged as one of their most consequential applications, sometimes in life-critical situations. Yet broader access does not mean equal support. The text these models learn from disproportionately reflects people with the freedom to act, embedding an implicit assumption that users can leave, report, seek help, or appeal. Existing benchmarks largely inherit this assumption, overlooking users whose agency is constrained by structural conditions such as war, statelessness, and displacement. Meanwhile, models are increasingly shaped by normative frameworks such as Constitutional AI, often grounded in ideals like human rights, even as many users live where those rights offer little protection or recourse. We introduce HEARSAYBENCH, a human-authored dataset of 400 test cases with in-region human verification grounded in scenarios where structural barriers stand between a person and the exercise of their rights. Built from United Nations and other human rights reports, the scenarios span over 80 regions and cover social, environmental, and personal constraints. Drawing on Nobel laureate Amartya Sen's Capabilities Approach, HEARSAYBENCH tests whether models can distinguish what a person is formally entitled to do from what they are actually able to do. Across 14 proprietary and open-weight models, every model infers a user's situation more accurately than it advises on it. Stronger models narrow this gap, but their recommendations remain unsafe to follow. Models may understand lives shaped by constraint, yet that knowledge remains hearsay if it cannot translate into advice people can act on. Those people are not alignment's long tail; they are among the users for whom good guidance matters most. HEARSAYBENCH makes this failure measurable, a step toward systems that serve the world as it is rather than as assumed.
• Abstract（参考訳）: 大規模言語モデル(LLM)が世界中のユーザーにリーチするにつれ、個人カウンセリングは、しばしば命にかかわる状況において、最も連続した応用の1つとして現れてきた。 しかし、より広範なアクセスは、平等なサポートを意味するものではない。 これらのモデルが不均等に学習したテキストは、行動の自由を反映し、ユーザーが立ち去ったり、報告したり、助けを求めたり、訴えたりできるという暗黙の仮定を埋め込んでいる。 既存のベンチマークはこの仮定をほとんど継承しており、戦争、無秩序、変位といった構造条件に制約されているユーザーを見渡している。 一方、モデルは、憲法的AIのような規範的なフレームワークによってますます形作られ、人権のような理想に根ざしている。 HEARSAYBENCHは,人体と権利の行使との間に構造的障壁が存在するシナリオを前提とした,地域内人間による検証を伴う400の試験ケースの人間によるデータセットである。 国連やその他の人権報告書から構築されたシナリオは、80以上の地域をカバーし、社会的、環境的、個人的制約をカバーしている。 HEARSAYBENCHは、ノーベル賞受賞者のAmartya Senの能力アプローチに基づいて、モデルが実際にできることと正式な権利を区別できるかどうかをテストする。 14のプロプライエタリモデルとオープンウェイトモデルで、各モデルはユーザーの状況をより正確に推測する。 より強力なモデルはこのギャップを狭めるが、彼らの推奨事項は引き続き従うのが安全ではない。 モデルは制約によって形作られた生活を理解するかもしれませんが、それが人々が行動できるアドバイスに変換できない場合、知識は引き続き耳を傾けます。 これらの人々はアライメントの長い尾ではなく、優れたガイダンスがもっとも重要であるユーザの一人です。 HEARSAYBENCHは、この障害を推定可能とし、想定されるよりもむしろ世界に仕えるシステムへの一歩である。

関連論文リスト

• When Personas Become Harmful: Guiding LLMs with Global Citizenship Values Alignment [104.22897283923271]
  価値に基づくペルソナマッピングと、Schwartz Value Surveyのバリューディメンションを組み合わせた、11万件の議論のあるトピックのデータセットを構築します。 47%以上の商業用LCMから有害な応答を収集した。 我々は,推論時に人格の順守と安全性のバランスをとることができる制御可能なアライメントモデルを導入する。
  論文  参考訳（メタデータ） (2026-10-24T20:18:51Z)
• UtilityBench: Measuring Language Model Utility When Errors Have Different Costs [84.8489208543529]
  本稿では,エラーの結果を明示的に取り入れたユーティリティベースの評価パラダイムを提案する。 UtilityAUC(UtilityAUC)は、モデルの応答順序によって決定される実用曲線の下での面積を測定する指標である。 経験的に、20の最先端モデルを評価すると、より高い精度や高度なアーキテクチャがより高いUtilityAUCに確実に変換されないことがわかった。
  論文  参考訳（メタデータ） (2026-10-19T07:23:43Z)
• UDHRBench: Benchmarking Human Rights in Large Language Models [1.7717094933697675]
  本稿では,人権宣言に準拠する大規模言語モデルの評価のためのベンチマークであるUDHRBenchを紹介する。 データセットは、30記事すべてをカバーする質問に直面する1,124件の人権と、4つの大きな言語モデルからの4,496件の回答で構成されている。 我々の分析では、体系的かつ非自明なミスアライメントが明らかであり、違反は通常、一見合理的な推論によって生じることを示している。
  論文  参考訳（メタデータ） (2026-10-10T20:59:28Z)
• Verifiable, Articulable, and Tacit Components of Preference [115.39287436225764]
  317万人の嗜好判断によってラベル付けされた2.8万のテキストを含む、大規模でラベル付き選好データセットCreativePreferencesを導入する。 VAT-VA, 検証可能性ギャップ, 検証可能性ギャップ, VAT-Vを観測し, 新たな測定手法により各ギャップの上下境界を推定した。 1)人間の世代において、完全なモデルは人間の嗜好とより密接な一致を示し、しばしば明瞭な基準に相容れないこと、(2)グッドハートの法則に類似して、嗜好を暗黙の次元から切り離すこと、である。
  論文  参考訳（メタデータ） (2026-10-02T09:01:07Z)
• Analyzing and Correcting Benevolence Bias in Large Language Models [25.94213078450494]
  大規模言語モデル(LLM)は、人間の回答者のスタンドインとしてますます使われています。 ここでは、評価バイアス(benevolence bias)を識別し、測定する。これは、LLMがより親切で、より安全で、より社会的に認められた質問に対する回答に傾く傾向の小さいが、一貫性のある傾向である。 バイアスは安定なモデル特性であり、どのシステムにおいてもクォークではないことが分かる。
  論文  参考訳（メタデータ） (2026-07-26T08:37:58Z)
• What Do People Actually Want From AI? Mapping Preference Plurality [4.973144469436077]
  75か国にわたるPRISMデータセットからの1500のオープンエンドレスポンスを分析し、AIシステムから人々が実際に何を望んでいるかを調べる。 ほとんどの値は回答者の4分の1以下で、唯一の例外は49%です。 特定の機能、すなわち人間のようなモデルがどのように振る舞うか、そしてガードレールのようないくつかの機能は、完全に議論の余地がある。
  論文  参考訳（メタデータ） (2026-06-04T19:47:29Z)
• Evaluating Language Model Reasoning about Confidential Information [95.64687778185703]
  言語モデルが文脈的堅牢性を示すか、文脈依存型安全仕様に準拠する能力を示すかを検討する。 我々は,ユーザ要求がいつ承認されたか,言語モデルが正しく判断できるかどうかを測定するベンチマーク(PasswordEval)を開発した。 現在のオープンソースとクローズドソースのモデルでは、一見単純な作業に苦労しています。
  論文  参考訳（メタデータ） (2025-08-27T15:39:46Z)
• The Silicon Reasonable Person: Can AI Predict How Ordinary People Judge Reasonableness? [0.0]
  本稿では,大規模言語モデル(LLM)が人間の合理的性判断を駆動するパターンを識別できることを考察する。 特定のモデルが表面レベルの応答だけでなく,その基盤となる決定的アーキテクチャも捉えていることを示す。 裁判官はより広いパターンに対して直感を調整でき、議員は政策解釈をテストでき、資源制約のある訴訟員は議論の受理をプレビューできる。
  論文  参考訳（メタデータ） (2025-08-04T06:19:45Z)
• Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases [77.3489598315447]
  事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。 Fact-or-Fair は (i) 客観的なクエリを記述的, 事実に基づく判断, (ii) 主観的クエリを規範的, 公平性に基づく判断に整合させたベンチマークである。
  論文  参考訳（メタデータ） (2025-02-09T10:54:11Z)
• Can Querying for Bias Leak Protected Attributes? Achieving Privacy With Smooth Sensitivity [14.564919048514897]
  既存の規制は、モデル開発者が保護された属性にアクセスすることを禁止している。 公正度測定値を求めるだけで、モデルの開発者に対する個人の保護された属性が漏洩する可能性があることを示す。 本稿では,雑音をバイアスクエリのスムーズな感度に調整することで,差分プライバシーを実現する新しい手法であるAttribute-Concealを提案する。
  論文  参考訳（メタデータ） (2022-11-03T20:44:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。