論文の概要: Lessons Learned: Reproducibility, Replicability, and When to Stop
- arxiv url: http://arxiv.org/abs/2401.03736v2
- Date: Tue, 9 Jan 2024 12:35:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 13:01:38.424364
- Title: Lessons Learned: Reproducibility, Replicability, and When to Stop
- Title（参考訳）: 学んだ教訓:再現性、再現性、いつ止めるか
- Authors: Milton S. Gomez, Tom Beucler
- Abstract要約: 再生と複製に関するガイダンスを提供するための2次元フレームワークを提案する。
私たちのフレームワークは、データセット、メトリクス、モデル自体の3つの重要な側面の上に構築されています。
- 参考スコア（独自算出の注目度）: 0.11997839174600736
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While extensive guidance exists for ensuring the reproducibility of one's own
study, there is little discussion regarding the reproduction and replication of
external studies within one's own research. To initiate this discussion,
drawing lessons from our experience reproducing an operational product for
predicting tropical cyclogenesis, we present a two-dimensional framework to
offer guidance on reproduction and replication. Our framework, representing
model fitting on one axis and its use in inference on the other, builds upon
three key aspects: the dataset, the metrics, and the model itself. By assessing
the trajectories of our studies on this 2D plane, we can better inform the
claims made using our research. Additionally, we use this framework to
contextualize the utility of benchmark datasets in the atmospheric sciences.
Our two-dimensional framework provides a tool for researchers, especially early
career researchers, to incorporate prior work in their own research and to
inform the claims they can make in this context.
- Abstract（参考訳）: 自身の研究の再現性を確保するための広範なガイダンスが存在するが、自身の研究における外部研究の再生と複製に関する議論はほとんどない。
この議論を開始するため,熱帯サイクロジェネレーション予測のための運用製品を再現した経験から,再現と複製に関するガイダンスを提供するための2次元フレームワークを提案する。
当社のフレームワークは、ある軸に適合するモデルとその推論における使用を表現し、データセット、メトリクス、モデル自体という3つの重要な側面の上に構築しています。
この2次元平面の研究の軌跡を評価することで、我々の研究で得られた主張をよりよく知ることができる。
さらに、このフレームワークを使用して、大気科学におけるベンチマークデータセットの有用性をコンテキスト化する。
我々の2次元のフレームワークは、研究者、特に初期の研究者が、自身の研究に先行研究を取り入れ、この文脈でできる主張を伝えるためのツールを提供する。
関連論文リスト
- ResearchTown: Simulator of Human Research Community [14.033414261636336]
ResearchTownは、リサーチコミュニティシミュレーションのためのマルチエージェントフレームワークである。
ResearchTownは、協調研究活動の現実的なシミュレーションを提供する。
ResearchTownは、複数の研究者と多様な論文で堅牢なシミュレーションを維持できる。
論文 参考訳（メタデータ） (2024-12-23T18:26:53Z) - Generate to Discriminate: Expert Routing for Continual Learning [59.71853576559306]
Generate to Discriminate (G2D) は、合成データを利用してドメイン識別器を訓練する連続学習手法である。
我々は、G2Dが視覚と言語の両方におけるタスクにおいて、競争力のあるドメイン・インクリメンタル・ラーニング手法より優れていることを観察する。
論文 参考訳（メタデータ） (2024-12-22T13:16:28Z) - Imitate, Explore, and Self-Improve: A Reproduction Report on Slow-thinking Reasoning Systems [92.89673285398521]
o1のような推論システムは、複雑な推論タスクを解く際、顕著な能力を示した。
推論モデルをトレーニングするために、模倣、探索、自己改善のフレームワークを導入します。
提案手法は,産業レベルの推論システムと比較して競争性能が向上する。
論文 参考訳（メタデータ） (2024-12-12T16:20:36Z) - Synthesizing Scientific Summaries: An Extractive and Abstractive Approach [0.5904095466127044]
論文要約のためのハイブリッド手法を提案する。
抽出段階では教師なし学習に基づく2つのモデルとトランスフォーマー言語モデルを用いる。
ハイパーパラメータの特定の組み合わせを用いることで、自動要約システムが人間によって書かれた要約の抽象性を超えることが可能であることが判明した。
論文 参考訳（メタデータ） (2024-07-29T08:21:42Z) - Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳（メタデータ） (2024-07-17T20:01:21Z) - MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。
2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。
タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
論文 参考訳（メタデータ） (2024-07-06T00:40:53Z) - Reproducibility and Geometric Intrinsic Dimensionality: An Investigation on Graph Neural Network Research [0.0]
これらの努力に基づいて構築することは、マシンラーニングにおけるもうひとつの重要な課題、すなわち次元の呪いに向かっています。
本研究は,機械学習モデルが学習対象のデータセットの拡張次元にどのような影響を受けているのかを,本質的な次元の密接な関連概念を用いて検討する。
論文 参考訳（メタデータ） (2024-03-13T11:44:30Z) - Large Models for Time Series and Spatio-Temporal Data: A Survey and
Outlook [95.32949323258251]
時系列データ、特に時系列データと時間時間データは、現実世界のアプリケーションで広く使われている。
大規模言語やその他の基礎モデルの最近の進歩は、時系列データマイニングや時間データマイニングでの使用の増加に拍車を掛けている。
論文 参考訳（メタデータ） (2023-10-16T09:06:00Z) - Machine learning assisted exploration for affine Deligne-Lusztig
varieties [3.7863170254779335]
本稿では,ADLV(Affine Deligne-Lusztig variety)の幾何学を探索するために,機械学習支援フレームワークを活用した学際研究を提案する。
主な目的は, ADLVの既約成分の空白パターン, 寸法, 列挙について検討することである。
我々は、ある下界の次元に関する新たに特定された問題の完全な数学的証明を提供する。
論文 参考訳（メタデータ） (2023-08-22T11:12:53Z) - RPT: Toward Transferable Model on Heterogeneous Researcher Data via
Pre-Training [19.987304448524043]
マルチタスク型自己教師型学習ベース研究者データ事前学習モデル RPT を提案する。
研究者のデータをセマンティックドキュメントセットとコミュニティグラフに分割する。
モデル全体を学習するための3つの自己教師型学習目標を提案する。
論文 参考訳（メタデータ） (2021-10-08T03:42:09Z) - What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。
本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。
本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
論文 参考訳（メタデータ） (2020-11-06T02:23:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。