論文の概要: Jobs' AI Exposure Should Be Measured from Evidence, Not Model Priors
- arxiv url: http://arxiv.org/abs/2605.15474v1
- Date: Thu, 14 May 2026 23:29:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 17:44:16.284183
- Title: Jobs' AI Exposure Should Be Measured from Evidence, Not Model Priors
- Title(参考訳): ジョブズのAIエクスポージャーは、モデル優先ではなく証拠から測定されるべき
- Authors: Luca Mouchel, Pierre Bouquet, Yossi Sheffi,
- Abstract要約: AIへの仕事の露出は、根拠に基づく根拠に基づく方法で測定されるべきである。
現在の理論的露出測定では、ゼロショットプロンプトを使用してタスクレベルのAI露出を分類している。
我々はO*NET 30.2における18,796の職業-タスク対にAI露出ラベルを割り当てる検索拡張フレームワークを提案する。
- 参考スコア(独自算出の注目度): 2.4724375110574304
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This position paper argues that job exposure to AI should be measured with grounded, evidence-based methods, not inferred from LLM priors alone. Current theoretical exposure measures use zero-shot prompting to classify task-level AI exposure, generating labels with no explicit evidence, no transparent chain of reasoning, and no external validation. The stakes of these measurements are too high to rely on such methods, as they influence policy making, where public and private funds are directed, and how workers understand their future prospects. We therefore argue that AI capability claims should meet three standards: reproducibility, external grounding, and inspectability. We propose a retrieval-augmented framework that assigns AI exposure labels to all 18,796 occupation--task pairs in O*NET 30.2, using open-weight reasoning and instruct models with retrieved news articles and academic paper abstracts as evidence of current AI capabilities. Relative to a zero-shot baseline, the grounded condition is preferred in over 72\% of disagreement cases under both automatic and human evaluation, and yields scores that align more closely with observed real-world AI usage. Taken together, these findings suggest that evidence-grounded measurement better captures what current AI systems can plausibly do in practice, rather than what a model asserts without external evidence. Because AI capabilities continue to change, the measurements used to inform policy must evolve with them: theoretical AI exposure scores should be periodically reassessed, not inherited as immutable ground truth.
- Abstract(参考訳): このポジションペーパーは、AIに対する仕事の露出は、LLMの先行性からのみ推測されるのではなく、根拠に基づく手法で測定されるべきである、と論じている。
現在の理論的露出測定では、ゼロショットプロンプトを使用してタスクレベルのAI露出を分類し、明確な証拠がなく、推論の透明な連鎖がなく、外部の検証もないラベルを生成する。
これらの測定の利害関係は、政策立案、公的資金と民間資金の方向性、そして労働者が将来の展望をどのように理解するかに影響を及ぼすなど、そのような方法に頼るには高すぎる。
したがって、AI能力クレームは再現性、外部接地、検査可能性の3つの基準を満たすべきである、と我々は主張する。
我々は,O*NET 30.2の18,796対の職業-タスクペアにAI露出ラベルを割り当てる検索拡張フレームワークを提案する。
ゼロショットベースラインとは対照的に、グラウンドド条件は自動評価と人的評価の両方で72%以上の不一致ケースで好まれ、実世界のAI利用とより密に一致したスコアが得られます。
これらの結果は、モデルが外部の証拠なしで主張するよりも、現在のAIシステムが実際にできることをよりよく捉えていることを示唆している。
理論的AI露光スコアは定期的に再評価されるべきであり、不変の基底真理として受け継がれるものではない。
関連論文リスト
- Trustworthy AI Suffers from Invariance Conflicts and Causality is The Solution [80.98492754957466]
公正性、堅牢性、プライバシ、説明可能性といった、信頼性の高いAI目標を同時に達成することは難しい。
本稿では、パフォーマンスにおけるトレードオフを理解しバランスをとるためには因果性が必要であると論じ、信頼できるAIの複数の目的について論じる。
論文 参考訳(メタデータ) (2026-05-04T14:26:28Z) - Questionnaire Responses Do not Capture the Safety of AI Agents [0.0]
急速に成長するAI研究の分野は、このようなアセスメントの開発に費やされている。
標準手法は、仮説的なシナリオでそれらの値や振る舞いを記述するために、アンケート形式で大きな言語モデル(LLM)を誘導する。
構造的に同一の問題は、現在のAIアライメントアプローチに当てはまる、と私たちは主張する。
論文 参考訳(メタデータ) (2026-03-15T15:01:09Z) - Measuring What AI Systems Might Do: Towards A Measurement Science in AI [19.687397197326817]
能力、妥当性、スキル、価値、能力は、常に相互に使用され、観測可能なパフォーマンスと混同されます。
我々は、能力と妥当性は、反事実関係によって特徴づけられるシステムの安定した特徴である配置特性であると主張する。
論文 参考訳(メタデータ) (2026-02-10T12:59:41Z) - Rethinking Data Protection in the (Generative) Artificial Intelligence Era [138.07763415496288]
現代の(生産的な)AIモデルやシステムに生じる多様な保護ニーズを捉える4段階の分類法を提案する。
当社のフレームワークは、データユーティリティとコントロールのトレードオフに関する構造化された理解を提供し、AIパイプライン全体にわたっています。
論文 参考訳(メタデータ) (2025-07-03T02:45:51Z) - General Scales Unlock AI Evaluation with Explanatory and Predictive Power [57.7995945974989]
ベンチマークはAIの進歩を導くものだが、汎用AIシステムには限られた説明力と予測力を提供している。
私たちは、一般的なAIベンチマークが実際に何を計測しているかを説明することができる、AI評価のための一般的な尺度を紹介します。
私たちの完全に自動化された方法論は、飽和しない一般的なスケールにインスタンス要求を配置する18の新しく作られたルーリックの上に構築されます。
論文 参考訳(メタデータ) (2025-03-09T01:13:56Z) - AI exposure predicts unemployment risk [1.5101132008238312]
AI暴露のどのモデルが仕事の分離や失業リスクを予測するかを評価する。
個々のAI露出モデルは失業率、失業リスク、仕事分離率の予測にはならない。
我々の結果はまた、AI暴露を評価するための動的、文脈認識、検証された方法も求めている。
論文 参考訳(メタデータ) (2023-08-04T15:21:07Z) - Should Machine Learning Models Report to Us When They Are Clueless? [0.0]
我々は、AIモデルは、慣れ親しんだデータの範囲外を誇張していると報告する。
モデルを外挿したかどうかを知ることは、AIモデルの説明に含めるべき基本的な洞察である。
論文 参考訳(メタデータ) (2022-03-23T01:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。