論文の概要: Generalizability of experimental studies

• arxiv url: http://arxiv.org/abs/2406.17374v1
• Date: Tue, 25 Jun 2024 08:49:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 15:11:49.060282
• Title: Generalizability of experimental studies
• Title（参考訳）: 実験研究の一般化可能性
• Authors: Federico Matteucci, Vadim Arzamasov, Jose Cribeiro-Ramallo, Marco Heyden, Konstantin Ntounas, Klemens Böhm,
• Abstract要約: 実験研究は機械学習(ML)研究の基盤となっている。 一般的なが、しばしば暗黙的な仮定は、研究の結果は研究そのものを超えて一般化されるというものである。 概念の重要性にもかかわらず、一般化可能性を測定するという問題は未解決のままである。
• 参考スコア（独自算出の注目度）: 3.3040956028064015
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Experimental studies are a cornerstone of machine learning (ML) research. A common, but often implicit, assumption is that the results of a study will generalize beyond the study itself, e.g. to new data. That is, there is a high probability that repeating the study under different conditions will yield similar results. Despite the importance of the concept, the problem of measuring generalizability remains open. This is probably due to the lack of a mathematical formalization of experimental studies. In this paper, we propose such a formalization and develop a quantifiable notion of generalizability. This notion allows to explore the generalizability of existing studies and to estimate the number of experiments needed to achieve the generalizability of new studies. To demonstrate its usefulness, we apply it to two recently published benchmarks to discern generalizable and non-generalizable results. We also publish a Python module that allows our analysis to be repeated for other experimental studies.
• Abstract（参考訳）: 実験研究は機械学習(ML)研究の基盤となっている。 一般的なが、しばしば暗黙的な仮定は、研究の結果が研究そのものを超えて、例えば新しいデータへと一般化するというものである。 つまり、異なる条件下で研究を繰り返すことが同様の結果をもたらす確率が高い。 概念の重要性にもかかわらず、一般化可能性を測定するという問題は未解決のままである。 これはおそらく実験研究の数学的形式化の欠如によるものである。 本稿では,そのような形式化を提案し,一般化可能性の概念を定量化する。 この概念は、既存の研究の一般化可能性を調べ、新しい研究の一般化可能性を達成するために必要な実験の数を見積もることができる。 その有用性を示すために、最近発表された2つのベンチマークに適用して、一般化可能かつ一般化不可能な結果を識別する。 また、他の実験研究のために分析を繰り返すPythonモジュールも公開しています。

関連論文リスト

• Design Principles for Falsifiable, Replicable and Reproducible Empirical ML Research [2.3265565167163906]
  実証的研究は、機械学習領域において基本的な役割を担っている。 本稿では,実証研究の妥当性を維持するためのガイドラインを伴って,実証研究プロセスのモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-28T11:37:59Z)
• Learning sources of variability from high-dimensional observational studies [41.06757602546625]
  因果推論は、変数の存在が観測結果に影響を及ぼすかどうかを研究する。 我々の研究は、任意の次元または可測空間を持つ結果に対する因果推定を一般化する。 本稿では,一貫した条件付き独立性テストを調整するための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-26T00:01:16Z)
• A Double Machine Learning Approach to Combining Experimental and Observational Data [59.29868677652324]
  実験と観測を組み合わせた二重機械学習手法を提案する。 我々の枠組みは、より軽度の仮定の下で、外部の妥当性と無知の違反を検査する。
  論文  参考訳（メタデータ） (2023-07-04T02:53:11Z)
• Intervention Generalization: A View from Factor Graph Models [7.117681268784223]
  操作されたシステムの分布の因子化に関する最小限の仮定に基づいて、過去の実験から新しい条件への飛躍をいかに保証するかを詳しく検討する。 仮定された$textitinterventional Factor Model$ (IFM) は必ずしも情報であるとは限らないが、不測のコンバウンディングとフィードバックのメカニズムを明示的にモデル化する必要性を便利に抽象化する。
  論文  参考訳（メタデータ） (2023-06-06T21:44:23Z)
• Prototyping Theories with ChatGPT: Experiment with the Technology Acceptance Model [0.0]
  この研究の目的は、ChatGPTが理論的概念を理解し、構成物を区別する能力を評価することである。 実験の結果,ChatGPTはアクセプタンス・テクノロジー・モデル(TAM)の構成に整合した応答を生成できることが示唆された。 実験では、生成したサンプルの潜在的なバイアス、特に性別や使用経験について明らかにした。
  論文  参考訳（メタデータ） (2023-06-04T23:55:53Z)
• State-of-the-art generalisation research in NLP: A taxonomy and review [87.1541712509283]
  NLPにおける一般化研究の特徴付けと理解のための分類法を提案する。 我々の分類学は、一般化研究の広範な文献レビューに基づいている。 私たちは、一般化をテストする400以上の論文を分類するために分類を使います。
  論文  参考訳（メタデータ） (2022-10-06T16:53:33Z)
• Sources of Irreproducibility in Machine Learning: A Review [3.905855359082687]
  実験設計の選択と結論に対する潜在的な影響を関連付ける理論的枠組みは存在しない。 本研究の目的は、応用データサイエンスの実践者や研究者が、どのような設計選択が誤った発見につながるかを理解するためのフレームワークを開発することである。
  論文  参考訳（メタデータ） (2022-04-15T18:26:03Z)
• Observing Interventions: A logic for thinking about experiments [62.997667081978825]
  本稿では,実験から学ぶ論理への第一歩について述べる。 我々のアプローチにとって重要なことは、介入の概念が(現実的または仮説的な)実験の形式的表現として使用できるという考えである。 提案された全ての論理系に対して、健全で完全な公理化を提供する。
  論文  参考訳（メタデータ） (2021-11-25T09:26:45Z)
• Typing assumptions improve identification in causal discovery [123.06886784834471]
  観測データからの因果発見は、正確な解を常に特定できない難しい課題である。 そこで本研究では,変数の性質に基づいた因果関係を制約する仮説を新たに提案する。
  論文  参考訳（メタデータ） (2021-07-22T14:23:08Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Marginal likelihood computation for model selection and hypothesis testing: an extensive review [66.37504201165159]
  この記事では、このトピックの最先端に関する総合的な研究について紹介する。 さまざまなテクニックの制限、メリット、コネクション、差異を強調します。 また、不適切な事前利用の問題や解決法についても述べる。
  論文  参考訳（メタデータ） (2020-05-17T18:31:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。