論文の概要: Building a Culture of Reproducibility in Academic Research
- arxiv url: http://arxiv.org/abs/2212.13534v1
- Date: Tue, 27 Dec 2022 16:03:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 13:20:32.619121
- Title: Building a Culture of Reproducibility in Academic Research
- Title(参考訳): 学術研究における再現性文化の構築
- Authors: Jimmy Lin
- Abstract要約: 再現性(reproducibility)は、研究者が「抽象的な」議論をしない理想であるが、願望が学界の冷酷な現実と出会うと、しばしば「消える」という理想である。
このエッセイでは、他の優先順位に対する要求のバランスをとりながら、運用方法に不満を抱く個人的な経験を共有します。
- 参考スコア(独自算出の注目度): 55.22219308265945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reproducibility is an ideal that no researcher would dispute "in the
abstract", but when aspirations meet the cold hard reality of the academic
grind, reproducibility often "loses out". In this essay, I share some personal
experiences grappling with how to operationalize reproducibility while
balancing its demands against other priorities. My research group has had some
success building a "culture of reproducibility" over the past few years, which
I attempt to distill into lessons learned and actionable advice, organized
around answering three questions: why, what, and how. I believe that
reproducibility efforts should yield easy-to-use, well-packaged, and
self-contained software artifacts that allow others to reproduce and generalize
research findings. At the core, my approach centers on self interest: I argue
that the primary beneficiaries of reproducibility efforts are, in fact, those
making the investments. I believe that (unashamedly) appealing to self
interest, augmented with expectations of reciprocity, increases the chances of
success. Building from repeatability, social processes and standardized tools
comprise the two important additional ingredients that help achieve
aspirational ideals. The dogfood principle nicely ties these ideas together.
- Abstract(参考訳): 再現性(replucibility)は、研究者が「抽象的な」議論をしない理想であるが、願望が学界の冷酷な現実を満たすと、再現性はしばしば「失われる」。
このエッセイでは、他の優先順位に対する要求のバランスをとりながら再現性を運用する方法について、個人的な経験を共有します。
私の研究グループは、過去数年間で"再現性の文化"を構築することに成功しています。
再現性の取り組みは、他の人が研究成果を再現し、一般化できるように、使いやすく、よくパッケージ化され、自己完結したソフトウェアアーティファクトをもたらすと信じています。
再現性への取り組みの主な恩恵は、実際、投資をする人たちである、と私は主張します。
私は、(恥じて)自己利益に訴え、相互性への期待を増し、成功の機会を増すと信じています。
反復性、社会的プロセス、標準化されたツールの構築は、願望の理想を達成するための重要な2つの要素から構成される。
ドッグフードの原則は、これらのアイデアをうまく結び付ける。
関連論文リスト
- Scaling of Search and Learning: A Roadmap to Reproduce o1 from Reinforcement Learning Perspective [77.94874338927492]
OpenAIは、o1の背後にある主要な技術は強化学習であると主張している。
本稿では、強化学習の観点から、o1を達成するためのロードマップを分析する。
論文 参考訳(メタデータ) (2024-12-18T18:24:47Z) - What Do Machine Learning Researchers Mean by "Reproducible"? [47.893726475815434]
我々は,コミュニティ全体で示される「再現性」の範囲を明確にしようとする。
これらの領域には「再現性」を自称しない作品が多数含まれている。
論文 参考訳(メタデータ) (2024-12-05T04:04:39Z) - Three Dogmas of Reinforcement Learning [13.28320102989073]
現代の強化学習は、少なくとも3つのドッグマによって条件付けられている。
ひとつは環境スポットライトであり、エージェントではなく環境をモデリングする傾向を示している。
2つ目は、適応ではなく、タスクの解決策を見つけるものとしての学習の扱いです。
3つ目は報酬仮説であり、すべての目標と目的は報奨信号としてよく考えることができるというものである。
論文 参考訳(メタデータ) (2024-07-15T10:03:24Z) - Reproducibility of Machine Learning: Terminology, Recommendations and
Open Issues [5.30596984761294]
危機が最近科学者によって認識され、これはさらに人工知能と機械学習に影響を及ぼしているようだ。
私たちは、このトピックに関する現在の文献を批判的にレビューし、オープンな問題を強調します。
現代の機械学習でよく見過ごされる重要な要素を特定し、それらの新しい推奨事項を提供します。
論文 参考訳(メタデータ) (2023-02-24T15:33:20Z) - A Song of Ice and Fire: Analyzing Textual Autotelic Agents in
ScienceWorld [21.29303927728839]
行動の多様性を自律的に発見できるオープンエンドエージェントの構築は、人工知能の長年の目標のひとつだ。
最近の研究で特定された言語は、特に、社会的仲間からの抽象的なゴールサンプリングとガイダンスを可能にするため、独学学習の重要な側面を持っている。
我々は、社会的仲間のフィードバックから選択性の重要性を示す。その経験は、稀な目標の例を過度にサンプリングする必要がある。
論文 参考訳(メタデータ) (2023-02-10T13:49:50Z) - Flexible social inference facilitates targeted social learning when
rewards are not observable [58.762004496858836]
グループは、個人が他人の成功から学べるときにより効果的にコーディネートする。
社会的推論能力は、このギャップを埋める助けとなり、個人が他人の基本的な知識に対する信念を更新し、観察可能な行動軌跡から成功することを示唆する。
論文 参考訳(メタデータ) (2022-12-01T21:04:03Z) - Reproducibility in machine learning for medical imaging [3.1390096961027076]
本章は、医療画像の機械学習分野の研究者への紹介である。
それぞれの目的は、それを定義すること、それを達成するための要件を説明すること、有用性について議論することである。
この章は、教義の利点に関する議論と、この概念と研究実践におけるその実践に対する非教義的なアプローチへの嘆願で終わる。
論文 参考訳(メタデータ) (2022-09-12T09:00:04Z) - From Psychological Curiosity to Artificial Curiosity: Curiosity-Driven
Learning in Artificial Intelligence Tasks [56.20123080771364]
心理学的好奇心は、探索と情報取得を通じて学習を強化するために、人間の知性において重要な役割を果たす。
人工知能(AI)コミュニティでは、人工好奇心は効率的な学習に自然な本質的な動機を与える。
CDLはますます人気を博し、エージェントは新たな知識を学習するために自己動機付けされている。
論文 参考訳(メタデータ) (2022-01-20T17:07:03Z) - Intrinsic Motivation for Encouraging Synergistic Behavior [55.10275467562764]
スパース・リワード・シナジスティック・タスクにおける強化学習の探索バイアスとしての本質的モチベーションの役割について検討した。
私たちのキーとなる考え方は、シナジスティックなタスクにおける本質的なモチベーションのための優れた指針は、エージェントが自分自身で行動している場合、達成できない方法で世界に影響を与える行動を取ることである。
論文 参考訳(メタデータ) (2020-02-12T19:34:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。