Fugu-MT 論文翻訳(概要): A Synthetic Prediction Market for Estimating Confidence in Published Work

論文の概要: A Synthetic Prediction Market for Estimating Confidence in Published Work

arxiv url: http://arxiv.org/abs/2201.06924v1
Date: Thu, 23 Dec 2021 19:11:54 GMT
ステータス: 処理完了
システム内更新日: 2022-01-23 18:26:13.040103
Title: A Synthetic Prediction Market for Estimating Confidence in Published Work
Title（参考訳）: 出版物の信頼度推定のための合成予測市場
Authors: Sarah Rajtmajer, Christopher Griffin, Jian Wu, Robert Fraleigh, Laxmaan Balaji, Anna Squicciarini, Anthony Kwasnica, David Pennock, Michael McLaughlin, Timothy Fritton, Nishanth Nakshatri, Arjun Menon, Sai Ajay Modukuri, Rajal Nivargi, Xin Wei and C. Lee Giles
Abstract要約: 我々は,社会・行動科学文学における論文の信頼性を評価するために,総合的な予測市場を構築した。この研究は、ピアレビューにAIを創造的に利用する研究アジェンダの基礎を築いた。
参考スコア（独自算出の注目度）: 12.205744685945586
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Explainably estimating confidence in published scholarly work offers opportunity for faster and more robust scientific progress. We develop a synthetic prediction market to assess the credibility of published claims in the social and behavioral sciences literature. We demonstrate our system and detail our findings using a collection of known replication projects. We suggest that this work lays the foundation for a research agenda that creatively uses AI for peer review.
Abstract（参考訳）: 出版された学術作品の信頼性を推定することは、より速くより堅牢な科学的進歩の機会を提供する。我々は,社会・行動科学文学における論文の信頼性を評価するための総合予測市場を開発する。我々は,本システムについて実演し,その成果を既知の複製プロジェクトを用いて詳述する。我々はこの研究が、ピアレビューにAIを創造的に利用する研究アジェンダの基礎となることを示唆している。

関連論文リスト

Chain of Ideas: Revolutionizing Research Via Novel Idea Development with LLM Agents [64.64280477958283]
科学文献の急激な増加は、研究者が最近の進歩と意義ある研究方向を見極めるのを困難にしている。大規模言語モデル(LLM)の最近の発展は、新しい研究のアイデアを自動生成するための有望な道のりを示唆している。本研究では, チェーン構造に関連文献を整理し, 研究領域の進展を効果的に反映する, LLMベースのエージェントであるChain-of-Ideas(CoI)エージェントを提案する。
論文参考訳（メタデータ） (2024-10-17T03:26:37Z)
Two Heads Are Better Than One: A Multi-Agent System Has the Potential to Improve Scientific Idea Generation [48.29699224989952]
VirSciは研究のアイデアを共同で生成し、評価し、洗練するエージェントのチームを組織している。このマルチエージェントアプローチは、新規で影響力のある科学的アイデアを生み出す上で、最先端の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-10-12T07:16:22Z)
Good Idea or Not, Representation of LLM Could Tell [86.36317971482755]
我々は、大規模言語モデルの知識を活用し、科学的アイデアのメリットを評価することを目的としたアイデアアセスメントに焦点をあてる。我々は、このタスクに対する様々なアプローチのパフォーマンスを訓練し評価するために、細心の注意を払って設計された、フルテキストを持つ約4万の原稿からベンチマークデータセットをリリースする。その結果, 大規模言語モデルの表現は, 生成出力よりもアイデアの価値を定量化する可能性が高いことが示唆された。
論文参考訳（メタデータ） (2024-09-07T02:07:22Z)
Performative Prediction on Games and Mechanism Design [69.7933059664256]
エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
論文参考訳（メタデータ） (2024-08-09T16:03:44Z)
ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
ResearchAgentは、大規模言語モデルによる研究アイデア作成エージェントである。科学文献に基づいて繰り返し精製しながら、問題、方法、実験設計を生成する。我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
論文参考訳（メタデータ） (2024-04-11T13:36:29Z)
Repeatability, Reproducibility, Replicability, Reusability (4R) in Journals' Policies and Software/Data Management in Scientific Publications: A Survey, Discussion, and Perspectives [1.446375009535228]
我々は、引用指向のプラクティス、ジャーナルポリシー、レコメンデーション、アーティファクト記述/評価ガイドライン、提出ガイド、技術的進化の間に大きなギャップを見出した。著者と学術雑誌の関係を,共同で科学的結果を改善するための相互取り組みとして分析した。我々は,学術論文を著者に提出するための統一的で標準化された再現性ガイドとともに,雑誌政策の勧告を提案する。
論文参考訳（メタデータ） (2023-12-18T09:02:28Z)
Unveiling the Sentinels: Assessing AI Performance in Cybersecurity Peer Review [4.081120388114928]
サイバーセキュリティの分野では、ダブルブラインドピアレビューの実践がデファクトスタンダードである。本稿では、ピアレビューの聖杯に触れ、学術的セキュリティカンファレンスのレビューにおけるAIのパフォーマンスについて光を当てることを目的としている。本研究では,人間レビュアーと機械学習モデルから得られた結果を比較し,評価結果の予測可能性について検討する。
論文参考訳（メタデータ） (2023-09-11T13:51:40Z)
A prototype hybrid prediction market for estimating replicability of published work [9.59326922088501]
我々は,機械学習アルゴリズムとして人工予測市場を提案する先行作業に基づいて構築する。人工予測市場では、訓練されたAIエージェントが将来のイベントの結果を購入し、販売する。複製学習の結果を予測するために,試作型ハイブリッド市場を用いたパイロット研究を詳述する。
論文参考訳（メタデータ） (2023-03-01T23:44:02Z)
Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文参考訳（メタデータ） (2022-11-07T16:19:42Z)
Epistemic Parity: Reproducibility as an Evaluation Metric for Differential Privacy [9.755020926517291]
本稿では,プロキシタスクの表現性に関する仮定を回避した合成データの評価手法を提案する。著者が合成データを使用した場合、公表された結論が変わる可能性を測定する。我々は、より強力なユーティリティ保証を支持し、プライバシー保護を提供する新しい種類のメカニズムを提唱する。
論文参考訳（メタデータ） (2022-08-26T14:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。