論文の概要: On the role of benchmarking data sets and simulations in method comparison studies

• arxiv url: http://arxiv.org/abs/2208.01457v1
• Date: Tue, 2 Aug 2022 13:47:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-03 13:44:57.312205
• Title: On the role of benchmarking data sets and simulations in method comparison studies
• Title（参考訳）: 手法比較研究におけるベンチマークデータセットとシミュレーションの役割について
• Authors: Sarah Friedrich and Tim Friede
• Abstract要約: 本稿では,シミュレーション研究とベンチマーク研究の相違点と類似点について検討する。 混合手法研究や臨床シナリオ評価など,さまざまな文脈からアイデアを借りる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Method comparisons are essential to provide recommendations and guidance for applied researchers, who often have to choose from a plethora of available approaches. While many comparisons exist in the literature, these are often not neutral but favour a novel method. Apart from the choice of design and a proper reporting of the findings, there are different approaches concerning the underlying data for such method comparison studies. Most manuscripts on statistical methodology rely on simulation studies and provide a single real-world data set as an example to motivate and illustrate the methodology investigated. In the context of supervised learning, in contrast, methods are often evaluated using so-called benchmarking data sets, i.e. real-world data that serve as gold standard in the community. Simulation studies, on the other hand, are much less common in this context. The aim of this paper is to investigate differences and similarities between these approaches, to discuss their advantages and disadvantages and ultimately to develop new approaches to the evaluation of methods picking the best of both worlds. To this aim, we borrow ideas from different contexts such as mixed methods research and Clinical Scenario Evaluation.
• Abstract（参考訳）: メソッド比較は、多くの利用可能なアプローチから選択されることが多い応用研究者のための推奨とガイダンスを提供するために不可欠である。 文献には多くの比較があるが、これらはしばしば中立的ではなく、新しい方法を好む。 設計の選択と結果の適切な報告とは別に、このような手法の比較研究の基盤となるデータに関して異なるアプローチがある。 統計方法論に基づくほとんどの写本は、シミュレーション研究に依存しており、調査された方法論を動機付け、説明するために単一の実世界データセットを提供している。 一方、教師あり学習の文脈では、手法はいわゆるベンチマークデータセット、すなわちコミュニティのゴールドスタンダードとして機能する現実世界のデータを用いて評価されることが多い。 一方,シミュレーション研究は,この文脈ではあまり一般的ではない。 本研究の目的は,これらのアプローチの相違点と類似点を調査し,それらの利点と欠点を議論し,最終的に両世界のベストを選定する手法を評価するための新しいアプローチを開発することである。 この目的のために,混合手法研究や臨床シナリオ評価など,さまざまな文脈からアイデアを借用する。

関連論文リスト

• Experimental Analysis of Large-scale Learnable Vector Storage Compression [42.52474894105165]
  学習可能な埋め込みベクトルは、機械学習において最も重要な応用の1つである。 推薦タスクにおけるスパースデータの高次元性と検索関連タスクにおける大量のコーパスは、埋め込みテーブルのメモリ消費を増大させる。 近年の研究では, モデル品質の低下や, その他のオーバーヘッドを伴って, 埋め込みを圧縮する方法が提案されている。
  論文  参考訳（メタデータ） (2023-11-27T07:11:47Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• Academics evaluating academics: a methodology to inform the review process on top of open citations [1.911678487931003]
  オープンな引用のみを考慮して計算された引用に基づくメトリクスが、人間の査定演習のピアレビューの実施方法に関する洞察を得ることのできるデータを提供するかどうかを考察する。 我々は,研究評価演習の委員会の決定を再現するために,一連の機械学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-06-10T13:09:15Z)
• Comprehensive Comparative Study of Multi-Label Classification Methods [1.1278903078792917]
  マルチラベル分類(MLC)は最近、機械学習コミュニティから関心が高まっています。 この研究は、さまざまなドメインのデータセットの多さに関する幅広いMLCメソッドの包括的な実証的研究を提供する。
  論文  参考訳（メタデータ） (2021-02-14T09:38:15Z)
• A Discussion on Practical Considerations with Sparse Regression Methodologies [0.0]
  統計科学に掲載された2つの論文は、いくつかのスパース回帰法の比較性能について研究している。 この2つの研究を要約して比較し,ユーザへの明快さと価値の提供を目指す。
  論文  参考訳（メタデータ） (2020-11-18T15:58:35Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Adaptive Estimator Selection for Off-Policy Evaluation [48.66170976187225]
  オフポリシー評価設定における推定器選択のための汎用的データ駆動手法を開発した。 また,本手法の性能保証を確立し,オラクル推定器と競合することを示す。
  論文  参考訳（メタデータ） (2020-02-18T16:57:42Z)
• A Survey on Causal Inference [64.45536158710014]
  因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。 観測データに対する様々な因果効果推定法が誕生した。
  論文  参考訳（メタデータ） (2020-02-05T21:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。