論文の概要: Replication Markets: Results, Lessons, Challenges and Opportunities in
AI Replication
- arxiv url: http://arxiv.org/abs/2005.04543v1
- Date: Sun, 10 May 2020 01:41:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 02:15:31.199853
- Title: Replication Markets: Results, Lessons, Challenges and Opportunities in
AI Replication
- Title(参考訳): レプリケーション市場:AIレプリケーションにおける結果、教訓、課題、機会
- Authors: Yang Liu, Michael Gordon, Juntao Wang, Michael Bishop, Yiling Chen,
Thomas Pfeiffer, Charles Twardy and Domenico Viganola
- Abstract要約: 本稿では,行動科学と社会科学とDARPA SCOREプロジェクトにおけるアプローチについて概説する。
我々は、複製結果の人間予測の役割に焦点をあてる。
我々は、コンピュータサイエンス、AI、MLにおける研究領域の信頼性を監視し改善するためにこれらのアプローチを使用する機会と課題について論じる。
- 参考スコア(独自算出の注目度): 6.485452733699873
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The last decade saw the emergence of systematic large-scale replication
projects in the social and behavioral sciences, (Camerer et al., 2016, 2018;
Ebersole et al., 2016; Klein et al., 2014, 2018; Collaboration, 2015). These
projects were driven by theoretical and conceptual concerns about a high
fraction of "false positives" in the scientific publications (Ioannidis, 2005)
(and a high prevalence of "questionable research practices" (Simmons, Nelson,
and Simonsohn, 2011). Concerns about the credibility of research findings are
not unique to the behavioral and social sciences; within Computer Science,
Artificial Intelligence (AI) and Machine Learning (ML) are areas of particular
concern (Lucic et al., 2018; Freire, Bonnet, and Shasha, 2012; Gundersen and
Kjensmo, 2018; Henderson et al., 2018). Given the pioneering role of the
behavioral and social sciences in the promotion of novel methodologies to
improve the credibility of research, it is a promising approach to analyze the
lessons learned from this field and adjust strategies for Computer Science, AI
and ML In this paper, we review approaches used in the behavioral and social
sciences and in the DARPA SCORE project. We particularly focus on the role of
human forecasting of replication outcomes, and how forecasting can leverage the
information gained from relatively labor and resource-intensive replications.
We will discuss opportunities and challenges of using these approaches to
monitor and improve the credibility of research areas in Computer Science, AI,
and ML.
- Abstract(参考訳): 過去10年間、社会・行動科学における体系的な大規模レプリケーションプロジェクト(camerer et al., 2016; ebersole et al., 2016; klein et al., 2014; collaboration, 2015)が出現した。
これらのプロジェクトは、科学出版物(ioannidis、2005年)の「偽陽性」の比率が高いこと(そして「疑わしい研究の実践」(simmons、nelson、simonsohn、2011年)に関する理論的および概念的な懸念によって推進された。
コンピュータ科学、人工知能(AI)、機械学習(ML)は特定の関心領域である(Lucic et al., 2018; Freire, Bonnet, and Shasha, 2012; Gundersen and Kjensmo, 2018; Henderson et al., 2018)。
本稿では,研究の信頼性を高めるための新しい方法論の推進における行動・社会科学の先駆的役割を考えるとともに,この分野から学んだ教訓を分析し,コンピュータ科学,ai,mlの戦略を調整するための有望なアプローチである。
特に、複製結果のヒューマン予測の役割と、相対的な労力とリソース集約的なレプリケーションから得られる情報をどのように活用できるかに焦点を合わせます。
我々は、コンピュータサイエンス、AI、MLにおける研究領域の信頼性を監視し改善するためにこれらのアプローチを使用する機会と課題について論じる。
関連論文リスト
- Data Science for Social Good [2.8621556092850065]
本稿では,「データ・サイエンス・フォー・ソーシャル・グッド」(DSSG)研究の枠組みについて述べる。
本研究では,情報システムにおけるDSSG研究の質を実証的に示すために,文献の分析を行う。
この記事と特別号が今後のDSSG研究を刺激することを期待している。
論文 参考訳(メタデータ) (2023-11-02T15:40:20Z) - On the Opportunities of Green Computing: A Survey [80.21955522431168]
人工知能(AI)は数十年にわたり、技術と研究において大きな進歩を遂げてきた。
高いコンピューティングパワーの必要性は、より高い二酸化炭素排出量をもたらし、研究の公正性を損なう。
コンピューティングリソースの課題とAIの環境への影響に取り組むため、グリーンコンピューティングはホットな研究トピックとなっている。
論文 参考訳(メタデータ) (2023-11-01T11:16:41Z) - Survey of Social Bias in Vision-Language Models [65.44579542312489]
調査の目的は、NLP、CV、VLをまたいだ事前学習モデルにおける社会バイアス研究の類似点と相違点について、研究者に高いレベルの洞察を提供することである。
ここで提示された発見とレコメンデーションはMLコミュニティの利益となり、公平でバイアスのないAIモデルの開発を促進する。
論文 参考訳(メタデータ) (2023-09-24T15:34:56Z) - The Future of Fundamental Science Led by Generative Closed-Loop
Artificial Intelligence [67.70415658080121]
機械学習とAIの最近の進歩は、技術革新、製品開発、社会全体を破壊している。
AIは、科学的な実践とモデル発見のための高品質なデータの大規模なデータセットへのアクセスがより困難であるため、基礎科学にはあまり貢献していない。
ここでは、科学的な発見に対するAI駆動、自動化、クローズドループアプローチの側面を調査し、調査する。
論文 参考訳(メタデータ) (2023-07-09T21:16:56Z) - Friend or Foe? Exploring the Implications of Large Language Models on
the Science System [0.0]
OpenAIによるChatGPTは、科学と高等教育の潜在的な意味について広範な議論を引き起こしている。
この研究は、科学における生成AIの影響についての情報的な議論に寄与する。
論文 参考訳(メタデータ) (2023-06-16T15:50:17Z) - AI for Science: An Emerging Agenda [30.260160661295682]
本報告では,Dagtuhl Seminar 22382 "Machine Learning for Science: Bridging Data-Driven and Mechanistic Modelling"のプログラムと成果について報告する。
AIの変革的ポテンシャルは、分野にわたって広く適用可能であることに由来するもので、研究領域間での統合によってのみ達成される。
技術的な進歩に加えて、この分野における次の進歩の波は、機械学習研究者、ドメインエキスパート、市民科学者、エンジニアのコミュニティを構築することにある。
論文 参考訳(メタデータ) (2023-03-07T20:21:43Z) - Coordinated Science Laboratory 70th Anniversary Symposium: The Future of
Computing [80.72844751804166]
2021年、コーディネート・サイエンス研究所(CSL)は70周年を記念して、Future of Computing Symposiumを開催した。
シンポジウムで提案された主要な技術的ポイント、洞察、方向性を要約する。
参加者は、新しいコンピューティングパラダイム、技術、アルゴリズム、行動、そして将来予想される研究課題に関するトピックについて議論した。
論文 参考訳(メタデータ) (2022-10-04T17:32:27Z) - Automating Ambiguity: Challenges and Pitfalls of Artificial Intelligence [0.0]
この論文は、科学と倫理の課題、落とし穴、AIの問題を調査するために、明らかに異なる分野の探求を織り交ぜている。
これらのシステムの様々な課題、問題、落とし穴は、批判的データ/アルゴリズム研究、科学と技術研究(STS)、具体化され活発な認知科学、複雑性科学、アフロフェミニズム、そして広く解釈された公正、説明責任、透明性の分野(FAccT)など、様々な分野の研究のホットトピックである。
論文 参考訳(メタデータ) (2022-06-08T22:05:07Z) - Applications of physics-informed scientific machine learning in
subsurface science: A survey [64.0476282000118]
地球系は、化石エネルギー探査、廃棄物処理、地質炭素隔離、再生可能エネルギー生成などの人間の活動によって変化した地質形成です。
したがって、ジオシステムの責任ある使用と探索は、効率的な監視、リスクアセスメント、および実用的な実装のための意思決定支援ツールに依存するジオシステムガバナンスにとって重要です。
近年の機械学習アルゴリズムと新しいセンシング技術の急速な進歩は、地下研究コミュニティがジオシステムガバナンスの有効性と透明性を向上させる新しい機会を提示しています。
論文 参考訳(メタデータ) (2021-04-10T13:40:22Z) - Learnings from Frontier Development Lab and SpaceML -- AI Accelerators
for NASA and ESA [57.06643156253045]
AIとML技術による研究は、しばしば非同期の目標とタイムラインを備えたさまざまな設定で動作します。
我々は、NASAとESAの民間パートナーシップの下で、AIアクセラレータであるFrontier Development Lab(FDL)のケーススタディを実行する。
FDL研究は、AI研究の責任ある開発、実行、普及に基礎を置く原則的な実践に従う。
論文 参考訳(メタデータ) (2020-11-09T21:23:03Z) - Deep Learning for Political Science [0.0]
機械学習、ディープラーニング、自然言語処理(NLP)、そしてより一般的には、人工知能(AI)が理論をテストする新しい機会を開きつつある。
政治科学は伝統的に、投票行動、政策決定、国際紛争、国際開発などの分野の研究に計算手法を用いてきた。
本章では政治学の例を例に紹介する。
論文 参考訳(メタデータ) (2020-05-13T19:14:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。