論文の概要: Lessons Learned Reproducibility, Replicability, and When to Stop
- arxiv url: http://arxiv.org/abs/2401.03736v1
- Date: Mon, 8 Jan 2024 08:55:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 17:10:07.999077
- Title: Lessons Learned Reproducibility, Replicability, and When to Stop
- Title（参考訳）: 再現性、再現性、停止時間から学んだ教訓
- Authors: Milton S. Gomez, Tom Beucler
- Abstract要約: 再生と複製に関するガイダンスを提供するための2次元フレームワークを提案する。
私たちのフレームワークは、データセット、メトリクス、モデル自体の3つの重要な側面の上に構築されています。
- 参考スコア（独自算出の注目度）: 0.11997839174600736
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While extensive guidance exists for ensuring the reproducibility of one's own
study, there is little discussion regarding the reproduction and replication of
external studies within one's own research. To initiate this discussion,
drawing lessons from our experience reproducing an operational product for
predicting tropical cyclogenesis, we present a two-dimensional framework to
offer guidance on reproduction and replication. Our framework, representing
model fitting on one axis and its use in inference on the other, builds upon
three key aspects: the dataset, the metrics, and the model itself. By assessing
the trajectories of our studies on this 2D plane, we can better inform the
claims made using our research. Additionally, we use this framework to
contextualize the utility of benchmark datasets in the atmospheric sciences.
Our two-dimensional framework provides a tool for researchers, especially early
career researchers, to incorporate prior work in their own research and to
inform the claims they can make in this context.
- Abstract（参考訳）: 自身の研究の再現性を確保するための広範なガイダンスが存在するが、自身の研究における外部研究の再生と複製に関する議論はほとんどない。
この議論を開始するため,熱帯サイクロジェネレーション予測のための運用製品を再現した経験から,再現と複製に関するガイダンスを提供するための2次元フレームワークを提案する。
当社のフレームワークは、ある軸に適合するモデルとその推論における使用を表現し、データセット、メトリクス、モデル自体という3つの重要な側面の上に構築しています。
この2次元平面の研究の軌跡を評価することで、我々の研究で得られた主張をよりよく知ることができる。
さらに、このフレームワークを使用して、大気科学におけるベンチマークデータセットの有用性をコンテキスト化する。
我々の2次元のフレームワークは、研究者、特に初期の研究者が、自身の研究に先行研究を取り入れ、この文脈でできる主張を伝えるためのツールを提供する。
関連論文リスト
- Synthesizing Scientific Summaries: An Extractive and Abstractive Approach [0.5904095466127044]
論文要約のためのハイブリッド手法を提案する。
抽出段階では教師なし学習に基づく2つのモデルとトランスフォーマー言語モデルを用いる。
ハイパーパラメータの特定の組み合わせを用いることで、自動要約システムが人間によって書かれた要約の抽象性を超えることが可能であることが判明した。
論文 参考訳（メタデータ） (2024-07-29T08:21:42Z) - Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳（メタデータ） (2024-07-17T20:01:21Z) - Reproducibility and Geometric Intrinsic Dimensionality: An Investigation on Graph Neural Network Research [0.0]
これらの努力に基づいて構築することは、マシンラーニングにおけるもうひとつの重要な課題、すなわち次元の呪いに向かっています。
本研究は,機械学習モデルが学習対象のデータセットの拡張次元にどのような影響を受けているのかを,本質的な次元の密接な関連概念を用いて検討する。
論文 参考訳（メタデータ） (2024-03-13T11:44:30Z) - Large Models for Time Series and Spatio-Temporal Data: A Survey and
Outlook [95.32949323258251]
時系列データ、特に時系列データと時間時間データは、現実世界のアプリケーションで広く使われている。
大規模言語やその他の基礎モデルの最近の進歩は、時系列データマイニングや時間データマイニングでの使用の増加に拍車を掛けている。
論文 参考訳（メタデータ） (2023-10-16T09:06:00Z) - Machine learning assisted exploration for affine Deligne-Lusztig
varieties [3.7863170254779335]
本稿では,ADLV(Affine Deligne-Lusztig variety)の幾何学を探索するために,機械学習支援フレームワークを活用した学際研究を提案する。
主な目的は, ADLVの既約成分の空白パターン, 寸法, 列挙について検討することである。
我々は、ある下界の次元に関する新たに特定された問題の完全な数学的証明を提供する。
論文 参考訳（メタデータ） (2023-08-22T11:12:53Z) - On the Robustness of Generative Retrieval Models: An Out-of-Distribution
Perspective [65.16259505602807]
本研究では,高密度検索モデルに対する生成的検索モデルのロバスト性について検討する。
実験結果から, 生成的検索モデルのOODロバスト性には強化が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-06-22T09:18:52Z) - A Diachronic Analysis of Paradigm Shifts in NLP Research: When, How, and
Why? [84.46288849132634]
本稿では、因果発見と推論技術を用いて、科学分野における研究トピックの進化を分析するための体系的な枠組みを提案する。
我々は3つの変数を定義し、NLPにおける研究トピックの進化の多様な側面を包含する。
我々は因果探索アルゴリズムを用いてこれらの変数間の因果関係を明らかにする。
論文 参考訳（メタデータ） (2023-05-22T11:08:00Z) - Enhancing Identification of Structure Function of Academic Articles
Using Contextual Information [6.28532577139029]
本稿では,学術論文の構造的機能を明らかにするためのコーパスとして,ACLカンファレンスの記事を取り上げる。
従来の機械学習モデルとディープラーニングモデルを用いて、様々な特徴入力に基づいて分類器を構築する。
2) に触発された本論文は,ディープラーニングモデルに文脈情報を導入し,重要な結果を得た。
論文 参考訳（メタデータ） (2021-11-28T11:21:21Z) - RPT: Toward Transferable Model on Heterogeneous Researcher Data via
Pre-Training [19.987304448524043]
マルチタスク型自己教師型学習ベース研究者データ事前学習モデル RPT を提案する。
研究者のデータをセマンティックドキュメントセットとコミュニティグラフに分割する。
モデル全体を学習するための3つの自己教師型学習目標を提案する。
論文 参考訳（メタデータ） (2021-10-08T03:42:09Z) - When Can Models Learn From Explanations? A Formal Framework for
Understanding the Roles of Explanation Data [84.87772675171412]
個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。
e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
論文 参考訳（メタデータ） (2021-02-03T18:57:08Z) - What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。
本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。
本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
論文 参考訳（メタデータ） (2020-11-06T02:23:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。