論文の概要: Swap, Replicate, Read the Mass: A Protocol for Auditing Demographic Bias in System One Decision Models

• arxiv url: http://arxiv.org/abs/2611.00496v1
• Date: Sat, 31 Oct 2026 00:36:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.409584
• Title: Swap, Replicate, Read the Mass: A Protocol for Auditing Demographic Bias in System One Decision Models
• Title（参考訳）: Swap, Replicate, Read the Mass: Auditing Demographic Bias in System One Decision Models
• Abstract要約: システム1決定モデルは、テキスト生成を型付き、確率対応の回答に置き換え、生産に入る。 BBQ(全11カテゴリ)、CrowS-Pairs、SilverSpoonの3つのベンチマークを、型付きインターフェースに適合させる。 我々は、偏見よりも不安定性を追跡するような、広範囲なステレオタイプアライメント、秩序に依存した回答、信頼を見いだす。
• 参考スコア（独自算出の注目度）: 41.99844472131922
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: System One decision models replace text generation with typed, probability-scored answers and are entering production. Answers execute without a person in the loop, and no multi-model audit exists on established bias benchmarks. We provide that audit: three benchmarks: BBQ (all eleven categories), CrowS-Pairs, and SilverSpoon, adapted to the typed interface, twelve models plus a no-thinking ablation, and 1,638,000 decisions. Every order-sensitive item runs twice with options swapped; native typed models also swap labels; ten configurations repeat under extra seeds and batch 16. We find widespread stereotype alignment, order-dependent answers, and confidence that tracks instability rather than bias. In BBQ, 97 of 143 model-by-category scores are significant and 94 aligned, while the commercial reference abstains on 99.5% of ambiguous items, hiding aligned probability mass. Option swaps flip 0.0% to 72.6% of choices; typed scoring stays below 10% except Laya (22-33%), and untuned letter prompting reaches 73%. CrowS-Pairs preference spans 0.496 to 0.816, and boolean answers can be decided by position (1.00 versus 0.005). SilverSpoon judgments shift toward lower-SES labels in five of eight decision models, inherited from the 9B backbone or induced by tuning. Audits must permute options and reverse questions by default; order-invariant scoring should become a procurement requirement.
• Abstract（参考訳）: システム1決定モデルは、テキスト生成を型付き、確率対応の回答に置き換え、生産に入る。 回答はループ内の人なしで実行され、確立したバイアスベンチマークにはマルチモデル監査は存在しない。 BBQ(全11カテゴリ)、CrowS-Pairs、SilverSpoonの3つのベンチマークは、型付けされたインターフェースに適合し、12モデルと非考えのアブレーション、そして1,638,000の判断である。 各オーダーセンシティブなアイテムは、オプションのスワップで2回実行され、ネイティブな型付きモデルもラベルをスワップし、10つの設定が追加のシードとバッチ16の下で繰り返される。 我々は、偏見よりも不安定性を追跡するような、広範囲なステレオタイプアライメント、秩序に依存した回答、信頼を見いだす。 BBQでは143のモデル・バイ・カテゴリのスコアのうち97が重要で94が一致し、商業基準は99.5%が曖昧な項目であり、一致確率の質量が隠されている。 オプションスワップは0.0%から72.6%で、ラヤ(22-33%)以外は10%以下にとどまり、未調整の文字が73%に達する。 CrowS-Pairs の選好は 0.496 から 0.816 の範囲で、ブール解は位置によって決定できる(1.00 対 0.005)。 SilverSpoonの判断は、8つの決定モデルのうち5つの下位SESラベルに移行し、9Bバックボーンから継承するか、チューニングによって誘導される。 監査人はオプションをパーミュートし、デフォルトで質問を逆転しなければならない。

関連論文リスト

• Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling [26.882267847221353]
  Intern-Decisionは0.8B、2B、4Bマルチモーダル決定モデルである。 我々の自己回帰型マスキング言語は、フィールドごとに1つの決定的プレースホルダーを完全なアシスタントスケルトンに配置する。 結果は、より大きなエージェントシステムの実用的なコンポーネントとして、コンパクトな決定モデルをサポートする。
  論文  参考訳（メタデータ） (2026-10-15T16:05:48Z)
• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• The Company a Question Keeps: Auditing Open Jev-Style Models for Retrieval [1.9527291999895944]
  Jevの文書化されたインターフェイスは、共有されたエビデンスに対して独立して型付き質問を評価する。 我々は,92のTREC検索クエリから,276のオープンなJevスタイルのチェックポイントにおいて,要求の独立性を監査する。
  論文  参考訳（メタデータ） (2026-10-10T06:29:27Z)
• Benchmarking candidate coverage and rejection policy transfer in typed decision models [7.736174008951463]
  公開参照ラベルを用いてLaya,Jev,Qwen2.5-7B-Instructを比較した。 ソースキャリブレーションは、しばしばターゲットの動作点を保存するのに失敗する。 10の意図的候補を持つLayaは、スコープ外クエリの99.0%を検出するが、カバークエリの48.8%を拒否する。
  論文  参考訳（メタデータ） (2026-10-02T14:36:46Z)
• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
  Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。 固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。 分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
  論文  参考訳（メタデータ） (2026-09-29T14:15:04Z)
• Likelihood Ranking doesn't Scale Like Prompting in LLMs [91.56564968539271]
  多重選択QAでは、質問セットと回答セットに標準確率ベースのスコアがまだ条件付けられている。 我々は,同じ質問対から構築された宣言文の確率ランキングに基づく補完的プロトコルについて検討する。
  論文  参考訳（メタデータ） (2026-09-24T11:16:53Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。