論文の概要: A Synthetic Prediction Market for Estimating Confidence in Published
Work
- arxiv url: http://arxiv.org/abs/2201.06924v1
- Date: Thu, 23 Dec 2021 19:11:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-23 18:26:13.040103
- Title: A Synthetic Prediction Market for Estimating Confidence in Published
Work
- Title(参考訳): 出版物の信頼度推定のための合成予測市場
- Authors: Sarah Rajtmajer, Christopher Griffin, Jian Wu, Robert Fraleigh,
Laxmaan Balaji, Anna Squicciarini, Anthony Kwasnica, David Pennock, Michael
McLaughlin, Timothy Fritton, Nishanth Nakshatri, Arjun Menon, Sai Ajay
Modukuri, Rajal Nivargi, Xin Wei and C. Lee Giles
- Abstract要約: 我々は,社会・行動科学文学における論文の信頼性を評価するために,総合的な予測市場を構築した。
この研究は、ピアレビューにAIを創造的に利用する研究アジェンダの基礎を築いた。
- 参考スコア(独自算出の注目度): 12.205744685945586
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Explainably estimating confidence in published scholarly work offers
opportunity for faster and more robust scientific progress. We develop a
synthetic prediction market to assess the credibility of published claims in
the social and behavioral sciences literature. We demonstrate our system and
detail our findings using a collection of known replication projects. We
suggest that this work lays the foundation for a research agenda that
creatively uses AI for peer review.
- Abstract(参考訳): 出版された学術作品の信頼性を推定することは、より速くより堅牢な科学的進歩の機会を提供する。
我々は,社会・行動科学文学における論文の信頼性を評価するための総合予測市場を開発する。
我々は,本システムについて実演し,その成果を既知の複製プロジェクトを用いて詳述する。
我々はこの研究が、ピアレビューにAIを創造的に利用する研究アジェンダの基礎となることを示唆している。
関連論文リスト
- Automated Fact-Checking of Climate Change Claims with Large Language
Models [3.1080484250243425]
本稿では、気候変動の主張の事実チェックを自動化するために設計された、新しいAIベースのツールであるCliminatorを提案する。
Climinatorは、様々な科学的視点を合成するために、革新的なMediator-Advocateフレームワークを使用している。
我々のモデルは、気候フィードバックと懐疑的な科学から収集されたクレームをテストする際に、顕著な精度を示す。
論文 参考訳(メタデータ) (2024-01-23T08:49:23Z) - Repeatability, Reproducibility, Replicability, Reusability (4R) in
Journals' Policies and Software/Data Management in Scientific Publications: A
Survey, Discussion, and Perspectives [1.446375009535228]
我々は、引用指向のプラクティス、ジャーナルポリシー、レコメンデーション、アーティファクト記述/評価ガイドライン、提出ガイド、技術的進化の間に大きなギャップを見出した。
著者と学術雑誌の関係を,共同で科学的結果を改善するための相互取り組みとして分析した。
我々は,学術論文を著者に提出するための統一的で標準化された再現性ガイドとともに,雑誌政策の勧告を提案する。
論文 参考訳(メタデータ) (2023-12-18T09:02:28Z) - Unveiling the Sentinels: Assessing AI Performance in Cybersecurity Peer
Review [4.081120388114928]
サイバーセキュリティの分野では、ダブルブラインドピアレビューの実践がデファクトスタンダードである。
本稿では、ピアレビューの聖杯に触れ、学術的セキュリティカンファレンスのレビューにおけるAIのパフォーマンスについて光を当てることを目的としている。
本研究では,人間レビュアーと機械学習モデルから得られた結果を比較し,評価結果の予測可能性について検討する。
論文 参考訳(メタデータ) (2023-09-11T13:51:40Z) - Large Language Models for Automated Open-domain Scientific Hypotheses
Discovery [53.40975887946237]
本研究は,社会科学の学術的仮説発見のための最初のNLPデータセットを提案する。
最近のトップ50の社会科学出版物と生のウェブコーパスで構成されている。
最後の目標は、有効で斬新で有用な科学的仮説を自動的に生成するシステムを作ることだ。
論文 参考訳(メタデータ) (2023-09-06T05:19:41Z) - A prototype hybrid prediction market for estimating replicability of
published work [9.59326922088501]
我々は,機械学習アルゴリズムとして人工予測市場を提案する先行作業に基づいて構築する。
人工予測市場では、訓練されたAIエージェントが将来のイベントの結果を購入し、販売する。
複製学習の結果を予測するために,試作型ハイブリッド市場を用いたパイロット研究を詳述する。
論文 参考訳(メタデータ) (2023-03-01T23:44:02Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - SciFact-Open: Towards open-domain scientific claim verification [61.288725621156864]
本稿では,科学的クレーム検証システムの性能評価を目的とした新しいテストコレクションであるSciFact-Openを提案する。
我々は、4つの最先端の科学的クレーム検証モデルの上位予測をプールし、注釈付けすることで、科学的クレームの証拠を収集する。
その結果,SciFact-Openへの一般化に苦慮する小形コーパス上で開発されたシステムは,少なくとも15F1の性能低下を示すことがわかった。
論文 参考訳(メタデータ) (2022-10-25T05:45:00Z) - Epistemic Parity: Reproducibility as an Evaluation Metric for
Differential Privacy [9.755020926517291]
本稿では,プロキシタスクの表現性に関する仮定を回避した合成データの評価手法を提案する。
著者が合成データを使用した場合、公表された結論が変わる可能性を測定する。
我々は、より強力なユーティリティ保証を支持し、プライバシー保護を提供する新しい種類のメカニズムを提唱する。
論文 参考訳(メタデータ) (2022-08-26T14:57:21Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳(メタデータ) (2022-06-13T21:31:06Z) - A Measure of Research Taste [91.3755431537592]
生産性と味の両方に報いる引用に基づく尺度を提案する。
提示された尺度capは、出版物とその量の影響のバランスをとる。
本研究では, 生物学, 計算機科学, 経済学, 物理分野の研究者を対象に, capの特性を解析した。
論文 参考訳(メタデータ) (2021-05-17T18:01:47Z) - Showing Your Work Doesn't Always Work [73.63200097493576]
『Show Your Work: Improved Reporting of Experimental Results』では、最高の学習モデルの有効性を報告している。
解析的にそれらの推定器は偏りがあり、エラーを起こしやすい仮定を用いていることを示す。
我々は、偏見のない代替案を導き、統計的シミュレーションから経験的な証拠で主張を裏付ける。
論文 参考訳(メタデータ) (2020-04-28T17:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。