論文の概要: Replication Markets: Results, Lessons, Challenges and Opportunities in
AI Replication
- arxiv url: http://arxiv.org/abs/2005.04543v1
- Date: Sun, 10 May 2020 01:41:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 02:15:31.199853
- Title: Replication Markets: Results, Lessons, Challenges and Opportunities in
AI Replication
- Title（参考訳）: レプリケーション市場:AIレプリケーションにおける結果、教訓、課題、機会
- Authors: Yang Liu, Michael Gordon, Juntao Wang, Michael Bishop, Yiling Chen,
Thomas Pfeiffer, Charles Twardy and Domenico Viganola
- Abstract要約: 本稿では,行動科学と社会科学とDARPA SCOREプロジェクトにおけるアプローチについて概説する。
我々は、複製結果の人間予測の役割に焦点をあてる。
我々は、コンピュータサイエンス、AI、MLにおける研究領域の信頼性を監視し改善するためにこれらのアプローチを使用する機会と課題について論じる。
- 参考スコア（独自算出の注目度）: 6.485452733699873
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The last decade saw the emergence of systematic large-scale replication
projects in the social and behavioral sciences, (Camerer et al., 2016, 2018;
Ebersole et al., 2016; Klein et al., 2014, 2018; Collaboration, 2015). These
projects were driven by theoretical and conceptual concerns about a high
fraction of "false positives" in the scientific publications (Ioannidis, 2005)
(and a high prevalence of "questionable research practices" (Simmons, Nelson,
and Simonsohn, 2011). Concerns about the credibility of research findings are
not unique to the behavioral and social sciences; within Computer Science,
Artificial Intelligence (AI) and Machine Learning (ML) are areas of particular
concern (Lucic et al., 2018; Freire, Bonnet, and Shasha, 2012; Gundersen and
Kjensmo, 2018; Henderson et al., 2018). Given the pioneering role of the
behavioral and social sciences in the promotion of novel methodologies to
improve the credibility of research, it is a promising approach to analyze the
lessons learned from this field and adjust strategies for Computer Science, AI
and ML In this paper, we review approaches used in the behavioral and social
sciences and in the DARPA SCORE project. We particularly focus on the role of
human forecasting of replication outcomes, and how forecasting can leverage the
information gained from relatively labor and resource-intensive replications.
We will discuss opportunities and challenges of using these approaches to
monitor and improve the credibility of research areas in Computer Science, AI,
and ML.
- Abstract（参考訳）: 過去10年間、社会・行動科学における体系的な大規模レプリケーションプロジェクト(camerer et al., 2016; ebersole et al., 2016; klein et al., 2014; collaboration, 2015)が出現した。
これらのプロジェクトは、科学出版物(ioannidis、2005年)の「偽陽性」の比率が高いこと(そして「疑わしい研究の実践」(simmons、nelson、simonsohn、2011年)に関する理論的および概念的な懸念によって推進された。
コンピュータ科学、人工知能(AI)、機械学習(ML)は特定の関心領域である(Lucic et al., 2018; Freire, Bonnet, and Shasha, 2012; Gundersen and Kjensmo, 2018; Henderson et al., 2018)。
本稿では,研究の信頼性を高めるための新しい方法論の推進における行動・社会科学の先駆的役割を考えるとともに,この分野から学んだ教訓を分析し,コンピュータ科学,ai,mlの戦略を調整するための有望なアプローチである。
特に、複製結果のヒューマン予測の役割と、相対的な労力とリソース集約的なレプリケーションから得られる情報をどのように活用できるかに焦点を合わせます。
我々は、コンピュータサイエンス、AI、MLにおける研究領域の信頼性を監視し改善するためにこれらのアプローチを使用する機会と課題について論じる。
関連論文リスト
- Intelligent Computing Social Modeling and Methodological Innovations in Political Science in the Era of Large Language Models [16.293574791587247]
本稿では,これらの問題に対処するために,知能コンピューティング社会モデリング(ICSM)手法を提案する。
アメリカ合衆国大統領選挙をシミュレートすることで、この研究はICSMの運用経路と方法論上の利点を実証的に示す。
この結果は、LCMが直接置換ではなく、統合と改善を通じて、政治科学の方法論的革新を促進することを示唆している。
論文 参考訳（メタデータ） (2024-10-07T06:30:59Z) - Decoding Large-Language Models: A Systematic Overview of Socio-Technical Impacts, Constraints, and Emerging Questions [1.1970409518725493]
この記事では、倫理的考察とともに、社会に肯定的な影響を与える可能性のある適用領域を強調します。
これには、開発に関する責任ある考慮、アルゴリズムの改善、倫理的課題、社会的影響が含まれる。
論文 参考訳（メタデータ） (2024-09-25T14:36:30Z) - Data Science for Social Good [2.8621556092850065]
本稿では,「データ・サイエンス・フォー・ソーシャル・グッド」(DSSG)研究の枠組みについて述べる。
本研究では,情報システムにおけるDSSG研究の質を実証的に示すために,文献の分析を行う。
この記事と特別号が今後のDSSG研究を刺激することを期待している。
論文 参考訳（メタデータ） (2023-11-02T15:40:20Z) - On the Opportunities of Green Computing: A Survey [80.21955522431168]
人工知能(AI)は数十年にわたり、技術と研究において大きな進歩を遂げてきた。
高いコンピューティングパワーの必要性は、より高い二酸化炭素排出量をもたらし、研究の公正性を損なう。
コンピューティングリソースの課題とAIの環境への影響に取り組むため、グリーンコンピューティングはホットな研究トピックとなっている。
論文 参考訳（メタデータ） (2023-11-01T11:16:41Z) - Survey of Social Bias in Vision-Language Models [65.44579542312489]
調査の目的は、NLP、CV、VLをまたいだ事前学習モデルにおける社会バイアス研究の類似点と相違点について、研究者に高いレベルの洞察を提供することである。
ここで提示された発見とレコメンデーションはMLコミュニティの利益となり、公平でバイアスのないAIモデルの開発を促進する。
論文 参考訳（メタデータ） (2023-09-24T15:34:56Z) - The Future of Fundamental Science Led by Generative Closed-Loop
Artificial Intelligence [67.70415658080121]
機械学習とAIの最近の進歩は、技術革新、製品開発、社会全体を破壊している。
AIは、科学的な実践とモデル発見のための高品質なデータの大規模なデータセットへのアクセスがより困難であるため、基礎科学にはあまり貢献していない。
ここでは、科学的な発見に対するAI駆動、自動化、クローズドループアプローチの側面を調査し、調査する。
論文 参考訳（メタデータ） (2023-07-09T21:16:56Z) - Machine Psychology [54.287802134327485]
我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。
本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。
これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
論文 参考訳（メタデータ） (2023-03-24T13:24:41Z) - AI for Science: An Emerging Agenda [30.260160661295682]
本報告では,Dagtuhl Seminar 22382 "Machine Learning for Science: Bridging Data-Driven and Mechanistic Modelling"のプログラムと成果について報告する。
AIの変革的ポテンシャルは、分野にわたって広く適用可能であることに由来するもので、研究領域間での統合によってのみ達成される。
技術的な進歩に加えて、この分野における次の進歩の波は、機械学習研究者、ドメインエキスパート、市民科学者、エンジニアのコミュニティを構築することにある。
論文 参考訳（メタデータ） (2023-03-07T20:21:43Z) - Coordinated Science Laboratory 70th Anniversary Symposium: The Future of
Computing [80.72844751804166]
2021年、コーディネート・サイエンス研究所(CSL)は70周年を記念して、Future of Computing Symposiumを開催した。
シンポジウムで提案された主要な技術的ポイント、洞察、方向性を要約する。
参加者は、新しいコンピューティングパラダイム、技術、アルゴリズム、行動、そして将来予想される研究課題に関するトピックについて議論した。
論文 参考訳（メタデータ） (2022-10-04T17:32:27Z) - Automating Ambiguity: Challenges and Pitfalls of Artificial Intelligence [0.0]
この論文は、科学と倫理の課題、落とし穴、AIの問題を調査するために、明らかに異なる分野の探求を織り交ぜている。
これらのシステムの様々な課題、問題、落とし穴は、批判的データ/アルゴリズム研究、科学と技術研究(STS)、具体化され活発な認知科学、複雑性科学、アフロフェミニズム、そして広く解釈された公正、説明責任、透明性の分野(FAccT)など、様々な分野の研究のホットトピックである。
論文 参考訳（メタデータ） (2022-06-08T22:05:07Z) - Applications of physics-informed scientific machine learning in
subsurface science: A survey [64.0476282000118]
地球系は、化石エネルギー探査、廃棄物処理、地質炭素隔離、再生可能エネルギー生成などの人間の活動によって変化した地質形成です。
したがって、ジオシステムの責任ある使用と探索は、効率的な監視、リスクアセスメント、および実用的な実装のための意思決定支援ツールに依存するジオシステムガバナンスにとって重要です。
近年の機械学習アルゴリズムと新しいセンシング技術の急速な進歩は、地下研究コミュニティがジオシステムガバナンスの有効性と透明性を向上させる新しい機会を提示しています。
論文 参考訳（メタデータ） (2021-04-10T13:40:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。