論文の概要: Quantifying how AI Panels improve precision
- arxiv url: http://arxiv.org/abs/2604.16432v2
- Date: Thu, 23 Apr 2026 06:08:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 02:32:13.994657
- Title: Quantifying how AI Panels improve precision
- Title(参考訳): AIパネルの精度向上方法の定量化
- Authors: Nicholas CL Beale,
- Abstract要約: AIのバイアスは、仕事の選択プロセスに焼き込まれるかもしれないが、その欠如にもかかわらず、単一のAIへの依存は問題である。
このような領域における意思決定を支援するために、さまざまなAIパネルを使用することのメリットに関する議論は、単一のAIシステムへの危険な依存から遠ざかることになる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI in applications like screening job applicants had become widespread, and may contribute to unemployment especially among the young. Biases in the AIs may become baked into the job selection process, but even in their absence, reliance on a single AI is problematic. In this paper we derive a simple formula to estimate, or at least place an upper bound on, the precision of such approaches for data resembling realistic CVs: $P(q) \approx \frac{ρn^b + q(1-ρ)}{1 + (n^b - 1)ρ}$ where $b \approx q^* + 0.8 (1 - ρ)$ and $q^*$ is $q$ clipped to $[0.07, 0.22]$ where $P(q)$ is the precision of the top $q$ quantile selected by a panel of $n$ AIs and $ρ$ is their average pairwise correlation. This equation provides a basis for considering how many AIs should be used in a Panel, depending on the importance of the decision. A quantitative discussion of the merits of using a diverse panel of AIs to support decision-making in such areas will move away from dangerous reliance on single AI systems and encourage a balanced assessment of the extent to which diversity needs to be built into the AI parts of the socioeconomic systems that are so important for our future.
- Abstract(参考訳): 求職者のスクリーニングのようなアプリケーションにおけるAIは広く普及し、特に若年層における失業に寄与する可能性がある。
AIのバイアスは、仕事の選択プロセスに焼き込まれるかもしれないが、その欠如にもかかわらず、単一のAIへの依存は問題である。
P(q) \approx \frac{ρn^b + q(1-ρ)}{1 + (n^b - 1)ρ}$ where $b \approx q^* + 0.8 (1 - ρ)$ and $q^*$ is $q$ clipped to $[0.07, 0.22]$ where $P(q)$ is the precision of the top $q$ Quantile selected by a panel of $n$ AIs and $ρ$ is the average pairwise correlation。
この方程式は、決定の重要性に応じて、パネルで使用されるAIの数を考えるための基礎を提供する。
このような領域における意思決定を支援するためにAIの多様なパネルを使用することのメリットに関する定量的な議論は、単一のAIシステムへの危険な依存から脱却し、我々の未来にとって非常に重要な社会経済システムのAI部分に多様性が組み込まれなければならない範囲のバランスの取れた評価を奨励する。
関連論文リスト
- The Novelty Bottleneck: A Framework for Understanding Human Effort Scaling in AI-Assisted Work [4.726153739634646]
新規性ボトルネックと呼ばれるメカニズムを分離した人間とAIのコラボレーションモデルを提案する。
モデルはタスクが原子的な決定に分解されると仮定する。
私たちの貢献は、人間の努力が線形にスケールしなければならないという証拠ではありません。
論文 参考訳(メタデータ) (2026-03-28T22:50:13Z) - Pro-AI Bias in Large Language Models [17.86909605285373]
大規模言語モデル(LLM)は、複数のドメインにわたる意思決定サポートにますます採用されている。
これらのモデルが人工知能(AI)自体に有利な体系的優先バイアスを示すかどうかを検討する。
論文 参考訳(メタデータ) (2026-01-20T09:03:57Z) - Idempotent Equilibrium Analysis of Hybrid Workflow Allocation: A Mathematical Schema for Future Work [0.0]
大規模なAIシステムは、仕事をどのように人と機械に分割するかを変えようとしている。
我々は、この位置を反復的タスクデリゲーション写像として定式化し、その過程が安定な等等均衡に収束することを示す。
我々は、「センタウル」な人間とAIの連携を促進する政策は、福祉を最大化する固定点に向けて経済を操ることができると論じる。
論文 参考訳(メタデータ) (2025-08-02T11:28:34Z) - Scalable, Symbiotic, AI and Non-AI Agent Based Parallel Discrete Event Simulations [0.0]
本稿では,複数のAIエージェントと非AIエージェントを組み合わせた並列離散イベントシミュレーション(PDES)手法を提案する。
我々は、4つの異なるドメインから4つの問題を解き、その結果をAIモデルだけで比較することで、我々のアプローチを評価する。
その結果,バニラモデルの精度が23%未満であるため,アプローチ全体の精度は68%であった。
論文 参考訳(メタデータ) (2025-05-28T17:50:01Z) - General Scales Unlock AI Evaluation with Explanatory and Predictive Power [57.7995945974989]
ベンチマークはAIの進歩を導くものだが、汎用AIシステムには限られた説明力と予測力を提供している。
私たちは、一般的なAIベンチマークが実際に何を計測しているかを説明することができる、AI評価のための一般的な尺度を紹介します。
私たちの完全に自動化された方法論は、飽和しない一般的なスケールにインスタンス要求を配置する18の新しく作られたルーリックの上に構築されます。
論文 参考訳(メタデータ) (2025-03-09T01:13:56Z) - What should an AI assessor optimise for? [57.96463917842822]
AIアセスタ(AI Assessmentor)は、他のAIシステムの指標(損失値など)を予測する、外的、理想的には不適切なシステムである。
ここでは、問題に対処する: 常にターゲットメトリックのアセスメントをトレーニングするのが最適か?
本研究では, モノトニック写像と非モノトニック写像を用いた回帰損失と分類スコアについて実験的に検討した。
論文 参考訳(メタデータ) (2025-02-01T08:41:57Z) - Metareasoning in uncertain environments: a meta-BAMDP framework [1.0923877073891441]
正しい$P$を見つけることは、推論プロセスの空間上の最適化問題として表すことができる。
本稿では,未知の報酬/遷移分布を持つ環境におけるメタ推論を扱うメタベイズ適応型MDPフレームワークを提案する。
論文 参考訳(メタデータ) (2024-08-02T13:15:01Z) - Hacking a surrogate model approach to XAI [49.1574468325115]
識別されたサブグループがブラックボックスADMシステムから肯定的な決定を下さない場合でも、対応するグループメンバーシップの問題は、必要に応じて低いレベルまで押し下げることができることを示す。
我々のアプローチは、他の代理モデルに容易に一般化できる。
論文 参考訳(メタデータ) (2024-06-24T13:18:02Z) - Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。
我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。
大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
論文 参考訳(メタデータ) (2024-06-21T18:06:30Z) - Online Apprenticeship Learning [58.45089581278177]
見習い学習(AL)では、コスト関数にアクセスせずにマルコフ決定プロセス(MDP)が与えられます。
目標は、事前に定義されたコスト関数のセットで専門家のパフォーマンスに一致するポリシーを見つけることです。
ミラー下降型ノンレグレットアルゴリズムを2つ組み合わせることで,OAL問題を効果的に解くことができることを示す。
論文 参考訳(メタデータ) (2021-02-13T12:57:51Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳(メタデータ) (2020-04-27T19:06:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。