論文の概要: No Free Delivery Service: Epistemic limits of passive data collection in complex social systems

• arxiv url: http://arxiv.org/abs/2411.13653v1
• Date: Wed, 20 Nov 2024 19:01:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:20:34.516350
• Title: No Free Delivery Service: Epistemic limits of passive data collection in complex social systems
• Title（参考訳）: No Free Delivery Service: 複雑な社会システムにおける受動的データ収集の疫学的限界
• Authors: Maximilian Nickel,
• Abstract要約: 複雑な社会システムにおいて広く考慮されている推論設定において、列車試験のパラダイムは正当化を欠いているだけでなく、リスク推定装置に対して実際に無効であることを示す。 私は、広く使われているMovieLensベンチマークを通じてこれらの結果を説明し、これらの結果が社会システムにおけるAIに与える影響について議論することで結論付けています。
• 参考スコア（独自算出の注目度）: 11.990018360916553
• License:
• Abstract: Rapid model validation via the train-test paradigm has been a key driver for the breathtaking progress in machine learning and AI. However, modern AI systems often depend on a combination of tasks and data collection practices that violate all assumptions ensuring test validity. Yet, without rigorous model validation we cannot ensure the intended outcomes of deployed AI systems, including positive social impact, nor continue to advance AI research in a scientifically sound way. In this paper, I will show that for widely considered inference settings in complex social systems the train-test paradigm does not only lack a justification but is indeed invalid for any risk estimator, including counterfactual and causal estimators, with high probability. These formal impossibility results highlight a fundamental epistemic issue, i.e., that for key tasks in modern AI we cannot know whether models are valid under current data collection practices. Importantly, this includes variants of both recommender systems and reasoning via large language models, and neither na\"ive scaling nor limited benchmarks are suited to address this issue. I am illustrating these results via the widely used MovieLens benchmark and conclude by discussing the implications of these results for AI in social systems, including possible remedies such as participatory data curation and open science.
• Abstract（参考訳）: トレインテストのパラダイムによるモデル検証の迅速化は、マシンラーニングとAIの息を吹き込むための重要な要因だ。 しかし、現代のAIシステムは、テストの有効性を保証するすべての前提に反するタスクとデータ収集のプラクティスの組み合わせに依存することが多い。 しかし、厳密なモデル検証がなければ、ポジティブな社会的影響を含む、デプロイされたAIシステムの意図された結果を保証することができず、科学的に健全な方法でAI研究を進め続けることはできない。 本稿では,複雑な社会システムにおいて広く考慮されている推論設定について,列車試験のパラダイムは正当化を欠いているだけでなく,リスク推定器の正当性や因果推定器を含むあらゆるリスク推定装置に対して,高い確率で無効であることを示す。 これらの形式的不合理性の結果は、基本的な疫学的な問題、すなわち、現代のAIにおける重要なタスクに対して、モデルが現在のデータ収集の慣行の下で有効であるかどうかを知ることができないことを浮き彫りにしている。 重要なことに、これは推奨システムと大規模言語モデルによる推論の両方のバリエーションを含み、na\"スケーリングも限定ベンチマークもこの問題に対処するには適していない。 私は、広く使われているMovieLensベンチマークを通じてこれらの結果を説明し、参加型データキュレーションやオープンサイエンスなど、社会システムにおけるAIに対するこれらの結果の影響について論じて、結論付けています。

関連論文リスト

• Conformal Validity Guarantees Exist for Any Data Distribution (and How to Find Them) [14.396431159723297]
  理論上,共形予測はテキスト共同データ分布に拡張可能であることを示す。 最も一般的なケースは計算に実用的でないが、具体的には特定の共形アルゴリズムを導出するための手順を概説する。
  論文  参考訳（メタデータ） (2024-05-10T17:40:24Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Interpretable Self-Aware Neural Networks for Robust Trajectory Prediction [50.79827516897913]
  本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。 実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-16T06:28:20Z)
• Explanation-by-Example Based on Item Response Theory [0.0]
  本研究は, 項目応答理論(IRT)を, モデルを説明し, 説明による信頼性のレベルを測定するためのツールとして検討する。 テストセットからすると、83.8%のエラーはIRTがモデルを信頼できないと指摘しているインスタンスからのものである。
  論文  参考訳（メタデータ） (2022-10-04T14:36:33Z)
• Discovering and Validating AI Errors With Crowdsourced Failure Reports [10.4818618376202]
  クラウドソースの障害レポートや、モデルが失敗した理由や理由に関するエンドユーザの説明を導入し、開発者がAIエラーの検出にどのように使用できるかを示します。 また、障害レポートを合成する視覚分析システムであるDeblinderを設計、実装する。 半構造化されたインタビューと10人のAI実践者とのシンク・アラウド・スタディでは、現実の環境でのDeblinderシステムと障害報告の適用可能性について検討する。
  論文  参考訳（メタデータ） (2021-09-23T23:26:59Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Offline Learning for Planning: A Summary [0.0]
  自律的なエージェントの訓練は、しばしば、環境との高価で安全でない試行錯誤の相互作用を必要とする。 さまざまなタスクを実行するインテリジェントエージェントの記録された経験を含むデータセットは、インターネット上でアクセス可能である。 本稿では,最先端のオフライン学習ベースラインの開発を動機とするアイデアを要約する。
  論文  参考訳（メタデータ） (2020-10-05T11:41:11Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Measuring the Complexity of Domains Used to Evaluate AI Systems [0.48951183832371004]
  本稿では,様々な領域間の複雑性を測定するための理論を提案する。 この測定の応用は、様々な状況におけるツールとしての有効性を示すために示される。 本稿では,AIシステムのインテリジェンスを計算するために,このような複雑性メトリクスの今後の利用を提案する。
  論文  参考訳（メタデータ） (2020-09-18T21:53:07Z)
• An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear Analysis [68.8204255655161]
  人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。 シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
  論文  参考訳（メタデータ） (2020-07-14T15:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。