論文の概要: Are AI Decision Models Biased? A Case Study of Jev

• arxiv url: http://arxiv.org/abs/2610.19619v1
• Date: Wed, 14 Oct 2026 05:42:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.984619
• Title: Are AI Decision Models Biased? A Case Study of Jev
• Title（参考訳）: AI決定モデルはバイアスを受けているか? Jevのケーススタディ
• Abstract要約: 認知的リフレクションタスクに41,500のレスポンス、古典的な認知バイアスパラダイム5つ、および民族的および性別的偏見をテストする価格設定実験を使用します。 我々は,Jevが認知反射問題に極めて優れているという過去の知見を確認した。 一般に、複数の文書化された人間のバイアスに関連する特徴的選択パターンを避ける。 テストされた価格シナリオでは、人口グループ間で小さな違いしか示さない。
• 参考スコア（独自算出の注目度）: 39.146761527401424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do AI models designed for fast, structured decisions exhibit the cognitive and social biases observed in human judgment? We evaluate Jev, a model described as a System One decision-maker, using 41,500 responses across cognitive reflection tasks, five classical cognitive-bias paradigms, and a pricing experiment testing ethnic and gender bias. At the level of selected answers, the results are largely encouraging. We confirm previous findings that Jev performs extremely well on cognitive reflection problems. We also observe that it generally avoids the characteristic choice patterns associated with several well-documented human biases, and exhibits only small differences among demographic groups in the tested pricing scenario. However, this apparent robustness conceals important vulnerabilities. Its judgments are sensitive to irrelevant numerical information and the ordering of response options. Moreover, several cognitive-bias manipulations substantially affect returned probabilities even when selected answers remain unchanged. Most strikingly, Jev answers a well-known probability problem correctly in every response but violates the same underlying probability rule in every response to an adapted version. We investigate this discrepancy using 15,000 additional responses across 30 conjunction tasks. Jev violates the rule in 54\% of responses, with accuracy varying dramatically across formulations and answer orders. These findings suggest that evaluating decision models solely on familiar benchmarks and selected answers may substantially overstate their reliability in practical applications. They also identify vulnerabilities for developers to address and practical considerations for users integrating such models into automated decision-making systems.
• Abstract（参考訳）: 高速で構造化された決定のために設計されたAIモデルは、人間の判断で観察される認知的バイアスと社会的バイアスを示すか? 我々は、認知反射課題にまたがる41,500の応答、古典的な認知バイアスパラダイム5つ、および民族と性別の偏見をテストする価格実験を用いて、システム1決定者として記述されたモデルであるJevを評価する。 選択された回答のレベルでは、結果は大いに奨励されます。 我々は,Jevが認知反射問題に極めて優れているという過去の知見を確認した。 また, よく文書化された人間の偏見にかかわる特徴的選択パターンを概ね回避し,テスト価格のシナリオにおいて,人口集団間での差がわずかであることも確認した。 しかし、この明らかな堅牢性は重要な脆弱性を隠蔽する。 その判断は、無関係な数値情報と応答オプションの順序に敏感である。 さらに、いくつかの認知バイアス操作は、選択された回答が変化しない場合でも、返却確率に実質的に影響を及ぼす。 最も顕著なことに、Jevはすべての応答においてよく知られた確率問題に正しく答えるが、適応されたバージョンに対する全ての応答において、同じ基礎となる確率規則に反する。 本研究では,30タスクにまたがる15,000の追加応答を用いて,この相違について検討する。 Jevは54 %のレスポンスでルールに違反しており、定式化や回答の順序によって精度が劇的に変化している。 これらの結果から, 既知ベンチマークのみに基づく意思決定モデルの評価と選択された回答が, 実用アプリケーションにおける信頼性を著しく過大評価する可能性が示唆された。 また、このようなモデルを自動意思決定システムに統合する上で、開発者が対処し、実践的に考慮すべき脆弱性も特定する。

関連論文リスト

• How Reliable Are System-One Decisions in Medicine? A Comparative Study of Jev, Jev-like Models, and LLMs [42.764309070274784]
  Jevはその迅速で一般化可能な意思決定でかなりの注目を集めている。 本研究は15の医療データセットにまたがる様々なシステム・ワンの意思決定モデルを比較した。 以上の結果から,Jevは主にテキスト駆動型タスクにおいて先行するモデルと競合するが,数値駆動型タスクでは効果が低いことが示唆された。
  論文  参考訳（メタデータ） (2026-10-13T15:15:46Z)
• General Decision Models: Benchmarking and Insights Beyond Jev [43.119878552608924]
  一般的な決定モデルは、構造化された判断と選択のためのLLMの効率的な代替品として登場した。 JEValは10のアプリケーションドメインにわたる36のデータセットから11,257のインスタンスからなるベンチマークである。 一般的な決定モデルは、利用可能な証拠から決定を解くことができれば最も競争力があるが、専門家の知識を必要とすると弱くなることを示す。 本研究では,オープンウェイト LLM 独自の推論を単一パスのファーストトケイン決定に内在させる内在的 Jev-4B と内在的 Jev-27B を提案する。
  論文  参考訳（メタデータ） (2026-10-02T18:47:00Z)
• Boosting Self-Consistency with Ranking [56.38798757709555]
  自己整合性は、複数の推論パスをサンプリングし、最も頻繁な回答を選択することで、大きな言語モデルを改善する。 この制限は、自己整合性における解答選択をランク付け問題として再構成する、ランク付け改善自己整合性(RISC)に対処する。
  論文  参考訳（メタデータ） (2026-06-03T16:12:30Z)
• Predicting Biased Human Decision-Making with Large Language Models in Conversational Settings [0.48439699124726004]
  大規模言語モデル(LLM)は,会話環境において偏りのある意思決定を予測できることを示す。 また、これらの予測は人間の認知バイアスだけでなく、その影響が認知負荷の下でどのように変化するかも捉える。
  論文  参考訳（メタデータ） (2026-01-16T07:30:21Z)
• Adaptive Generation of Bias-Eliciting Questions for LLMs [18.608477560948003]
  大規模言語モデル(LLM)は現在、ユーザ向けアプリケーションに広くデプロイされており、世界中で数億に達しています。 我々は,性,人種,宗教などのセンシティブな属性に対して,現実的でオープンな質問を自動的に生成する,反現実的バイアス評価フレームワークを導入する。 また、非対称な拒絶や偏見の明示的な認識など、ユーザインタラクションにますます関係する異なる応答次元も捉えています。
  論文  参考訳（メタデータ） (2025-10-14T13:08:10Z)
• Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty [47.95943057892318]
  ブラックボックスLSMの不確実性の定量化は、信頼性の高い応答とスケーラブルな監視に不可欠である。 本研究では,不確実性推定にマルチエージェント相互作用を用いた新しい理論的基礎手法であるDiverseAgentEntropyを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T18:52:40Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
  マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。 提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
  論文  参考訳（メタデータ） (2021-04-18T07:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。