論文の概要: Qistas: A Pre-Registered, Portable Protocol for Fairness Evaluation of Large Language Models

• arxiv url: http://arxiv.org/abs/2610.40893v1
• Date: Thu, 29 Oct 2026 19:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.477346
• Title: Qistas: A Pre-Registered, Portable Protocol for Fairness Evaluation of Large Language Models
• Title（参考訳）: Qistas: 大規模言語モデルの公正性評価のための,登録済みのポータブルプロトコル
• Abstract要約: 本稿では,社会の社会的,自白的,地域的な選挙区をどのように扱うかを評価するためのプロトコルであるQistasを紹介する。 それは、一致した反ファクト対の手続き対称性、差分拒絶、曖昧さの下でのステレオタイプ依存、文書化された出来事の用語的フレーミングである。 モデルが評価されておらず、関連する事前登録は、パイロットが従う仮説、メトリクス、排他的ルール、分析計画をコミットする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fairness benchmarks for large language models (LLMs) are overwhelmingly English-born and American in their social categories; translated versions carry those categories into societies where they do not apply, and almost none fix their hypotheses before the models are run. We present Qistas (Arabic qistas, "the just balance"), a protocol for evaluating how LLMs treat the social, confessional, and regional constituencies of a society, portable across countries and instantiated first for Iraq. In its pilot form it measures only what needs no verdict on contested truth: procedural symmetry across matched counterfactual pairs, differential refusal, stereotype reliance under ambiguity, and terminological framing of documented events. Every measurement is paired by construction and analysed with paired machinery (sign-flip permutation tests, exact McNemar tests, template-clustered bootstrap intervals, Holm-corrected families), with a power analysis that states, before any data exist, the smallest effect each axis can detect after the design effect of template clustering. We release the authoring apparatus (a pruned 3x5 taxonomy with four cells closed by design, per-type checklists, a cumulative rulings log, a structural audit, and a human review notebook) and report its first field test: a semantic review of a 58-item seed bank in which 24 of 25 template groups failed at least one check. The defect patterns it exposed (evaluation criteria leaking into prompts, token-level swaps that break Arabic agreement, epistemically unbalanced pairs, single-theme refusal probes, unwritten dialect twins counted as coverage) are, we argue, general hazards of counterfactual fairness benchmarks. This is a protocol paper, not a results paper: no model has been evaluated, and the accompanying pre-registration commits the hypotheses, metrics, exclusion rules, and analysis plan that the pilot will follow.
• Abstract（参考訳）: 大きな言語モデル(LLM)のフェアネスベンチマークは、社会的カテゴリにおいて圧倒的に英語生まれでアメリカ人であり、翻訳されたバージョンは、それらのカテゴリを適用されない社会に運び、モデルが実行される前に仮説を定めない。 我々は、LLMが社会の社会的、自白的、地域的な選挙区をどのように扱うかを評価するための議定書であるキスタス(アラビア語で「正しいバランス」の意)を提示する。 パイロット形式では、競合する真理を判断する必要のないもののみを測定する:一致した反ファクト対の手続き対称性、差分拒絶、曖昧さの下でのステレオタイプ依存、文書化された事象の用語的フレーミング。 それぞれの測定は、組み合わせた機械(サインフリップ置換試験、正確なマクネマール試験、テンプレートクラスタリングされたブートストラップ間隔、ホルム補正された家族)と組み合わせられ、任意のデータが存在する前に、各軸がテンプレートクラスタリングの設計効果の後に検出できる最小の効果を出力分析する。 著者装置(設計により4つの細胞を閉鎖した3x5分類装置、タイプ別チェックリスト、累積決定ログ、構造監査、人間レビューノート)を公開し、最初のフィールドテストとして、25のテンプレートグループのうち24が少なくとも1つのチェックに失敗した58項目のシードバンクのセマンティックレビューを報告した。 明らかになった欠陥パターン(プロンプトに漏れる評価基準、アラビア合意を破るトークンレベルのスワップ、エピステマティックにアンバランスなペア、シングルテーマの拒絶プローブ、カバー範囲として数えられる未書きの双子)は、反ファクト的公正性のベンチマークの一般的な危険性である、と我々は主張する。 モデルが評価されておらず、関連する事前登録は、パイロットが従う仮説、メトリクス、排他的ルール、分析計画をコミットする。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• Beyond Fluency: A Rubric-Based Benchmark for Evaluating Saudi Dialect and Cultural Competence in Large Language Models [0.37331950863394864]
  サウジアラビア方言の古風なベンチマークを示す。 9カテゴリの分類で466のエラー事例を分類する。 一貫性に反するトレードオフとモデル固有のエラーシグネチャを観察する。
  論文  参考訳（メタデータ） (2026-08-30T19:31:35Z)
• Beyond Accuracy and Surface Fluency: Risk-Sensitive Evaluation of LLMs for Legal Clause Generation [0.0]
  本稿では,大規模言語モデル(LLM)を評価するための実証的研究の枠組みについて述べる。 この研究は、22の契約条項カテゴリと34の障害モードの4つのモデルを評価する。 法的なAI評価は、集合的正確性を超えて、節特化、障害モード駆動、リスクセンシティブな評価へと移行すべきである、と我々は主張する。
  論文  参考訳（メタデータ） (2026-08-22T06:42:28Z)
• The C-index illusion: discrimination without calibration in published survival models [0.0]
  我々は3つの構造的に異なる領域にまたがって3つのサバイバル-MLモデルを再現する。 ホルム補正された家族的誤り率の下で,5つの事前登録仮説を検証した。
  論文  参考訳（メタデータ） (2026-07-21T19:13:54Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• TRACE: An Operational Reasoning Schema for Auditable Agentic Commitments [0.0]
  TRACE (Typed Reasoning And Commitment Evidence) は、推論トレースを記録するためのタイプ付きバージョン付きスキーマである。 論文は3つのレイヤで、推論は言語モデルにはない、と論じている。 レコード消費者契約は、レコードが保証するものと、その見返りに消費者が尊重すべきものを記述する。
  論文  参考訳（メタデータ） (2026-07-14T08:08:21Z)
• Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。