論文の概要: A Synthetic Prediction Market for Estimating Confidence in Published
Work
- arxiv url: http://arxiv.org/abs/2201.06924v1
- Date: Thu, 23 Dec 2021 19:11:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-23 18:26:13.040103
- Title: A Synthetic Prediction Market for Estimating Confidence in Published
Work
- Title(参考訳): 出版物の信頼度推定のための合成予測市場
- Authors: Sarah Rajtmajer, Christopher Griffin, Jian Wu, Robert Fraleigh,
Laxmaan Balaji, Anna Squicciarini, Anthony Kwasnica, David Pennock, Michael
McLaughlin, Timothy Fritton, Nishanth Nakshatri, Arjun Menon, Sai Ajay
Modukuri, Rajal Nivargi, Xin Wei and C. Lee Giles
- Abstract要約: 我々は,社会・行動科学文学における論文の信頼性を評価するために,総合的な予測市場を構築した。
この研究は、ピアレビューにAIを創造的に利用する研究アジェンダの基礎を築いた。
- 参考スコア(独自算出の注目度): 12.205744685945586
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Explainably estimating confidence in published scholarly work offers
opportunity for faster and more robust scientific progress. We develop a
synthetic prediction market to assess the credibility of published claims in
the social and behavioral sciences literature. We demonstrate our system and
detail our findings using a collection of known replication projects. We
suggest that this work lays the foundation for a research agenda that
creatively uses AI for peer review.
- Abstract(参考訳): 出版された学術作品の信頼性を推定することは、より速くより堅牢な科学的進歩の機会を提供する。
我々は,社会・行動科学文学における論文の信頼性を評価するための総合予測市場を開発する。
我々は,本システムについて実演し,その成果を既知の複製プロジェクトを用いて詳述する。
我々はこの研究が、ピアレビューにAIを創造的に利用する研究アジェンダの基礎となることを示唆している。
関連論文リスト
- Optimizing Research Portfolio For Semantic Impact [55.2480439325792]
サイテーション指標は学術的影響を評価するために広く用いられているが、社会的偏見に悩まされている。
本稿では,研究効果を予測する新しいフレームワークであるrXiv Semantic Impact (XSI)を紹介する。
XSIは学術知識グラフにおける研究概念の進化を追跡している。
論文 参考訳(メタデータ) (2025-02-19T17:44:13Z) - Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [3.802113616844045]
本研究では,レビュアの品質を推定するオープンなボトムアッププロセスを通じて,科学的ピアレビューの精度と効率を向上させるためのデータ駆動フレームワークを提案する。
我々は,2つの主要な学術会議から開かれたピアレビューデータを分析し,レビュアー固有の品質スコアが紙の品質評価の信頼性を著しく向上することを示した。
論文 参考訳(メタデータ) (2025-01-22T17:00:27Z) - Chain of Ideas: Revolutionizing Research Via Novel Idea Development with LLM Agents [64.64280477958283]
科学文献の急激な増加は、研究者が最近の進歩と意義ある研究方向を見極めるのを困難にしている。
大規模言語モデル(LLM)の最近の発展は、新しい研究のアイデアを自動生成するための有望な道のりを示唆している。
本研究では, チェーン構造に関連文献を整理し, 研究領域の進展を効果的に反映する, LLMベースのエージェントであるChain-of-Ideas(CoI)エージェントを提案する。
論文 参考訳(メタデータ) (2024-10-17T03:26:37Z) - Good Idea or Not, Representation of LLM Could Tell [86.36317971482755]
我々は、大規模言語モデルの知識を活用し、科学的アイデアのメリットを評価することを目的としたアイデアアセスメントに焦点をあてる。
我々は、このタスクに対する様々なアプローチのパフォーマンスを訓練し評価するために、細心の注意を払って設計された、フルテキストを持つ約4万の原稿からベンチマークデータセットをリリースする。
その結果, 大規模言語モデルの表現は, 生成出力よりもアイデアの価値を定量化する可能性が高いことが示唆された。
論文 参考訳(メタデータ) (2024-09-07T02:07:22Z) - ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。
ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。
我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
論文 参考訳(メタデータ) (2024-04-11T13:36:29Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [55.33653554387953]
パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。
本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。
1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
論文 参考訳(メタデータ) (2024-02-20T11:28:50Z) - Repeatability, Reproducibility, Replicability, Reusability (4R) in
Journals' Policies and Software/Data Management in Scientific Publications: A
Survey, Discussion, and Perspectives [1.446375009535228]
我々は、引用指向のプラクティス、ジャーナルポリシー、レコメンデーション、アーティファクト記述/評価ガイドライン、提出ガイド、技術的進化の間に大きなギャップを見出した。
著者と学術雑誌の関係を,共同で科学的結果を改善するための相互取り組みとして分析した。
我々は,学術論文を著者に提出するための統一的で標準化された再現性ガイドとともに,雑誌政策の勧告を提案する。
論文 参考訳(メタデータ) (2023-12-18T09:02:28Z) - A prototype hybrid prediction market for estimating replicability of
published work [9.59326922088501]
我々は,機械学習アルゴリズムとして人工予測市場を提案する先行作業に基づいて構築する。
人工予測市場では、訓練されたAIエージェントが将来のイベントの結果を購入し、販売する。
複製学習の結果を予測するために,試作型ハイブリッド市場を用いたパイロット研究を詳述する。
論文 参考訳(メタデータ) (2023-03-01T23:44:02Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - Epistemic Parity: Reproducibility as an Evaluation Metric for
Differential Privacy [9.755020926517291]
本稿では,プロキシタスクの表現性に関する仮定を回避した合成データの評価手法を提案する。
著者が合成データを使用した場合、公表された結論が変わる可能性を測定する。
我々は、より強力なユーティリティ保証を支持し、プライバシー保護を提供する新しい種類のメカニズムを提唱する。
論文 参考訳(メタデータ) (2022-08-26T14:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。