論文の概要: Unreflected Use of Tabular Data Repositories Can Undermine Research Quality

• arxiv url: http://arxiv.org/abs/2503.09159v1
• Date: Wed, 12 Mar 2025 08:41:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:35:18.632330
• Title: Unreflected Use of Tabular Data Repositories Can Undermine Research Quality
• Title（参考訳）: タブラルデータレポジトリの未使用は研究品質を損なう可能性がある
• Authors: Andrej Tschalzev, Lennart Purucker, Stefan Lüdtke, Frank Hutter, Christian Bartelt, Heiner Stuckenschmidt,
• Abstract要約: データレポジトリからのデータセットの未修正使用は、研究品質と科学的厳密さを低下させた可能性がある、と我々は主張する。 本図は,(1)最適なモデル選択戦略,(2)強いベースラインを見渡すこと,(3)不適切な前処理を行うことによる,データリポジトリのユーザによる落とし穴の回避を支援する。
• 参考スコア（独自算出の注目度）: 41.71226316878786
• License:
• Abstract: Data repositories have accumulated a large number of tabular datasets from various domains. Machine Learning researchers are actively using these datasets to evaluate novel approaches. Consequently, data repositories have an important standing in tabular data research. They not only host datasets but also provide information on how to use them in supervised learning tasks. In this paper, we argue that, despite great achievements in usability, the unreflected usage of datasets from data repositories may have led to reduced research quality and scientific rigor. We present examples from prominent recent studies that illustrate the problematic use of datasets from OpenML, a large data repository for tabular data. Our illustrations help users of data repositories avoid falling into the traps of (1) using suboptimal model selection strategies, (2) overlooking strong baselines, and (3) inappropriate preprocessing. In response, we discuss possible solutions for how data repositories can prevent the inappropriate use of datasets and become the cornerstones for improved overall quality of empirical research studies.
• Abstract（参考訳）: データレポジトリは、さまざまなドメインから多数のグラフデータセットを蓄積しています。 機械学習の研究者たちは、これらのデータセットを積極的に使用して、新しいアプローチを評価している。 その結果、データレポジトリは表形式のデータ研究において重要な地位を占めている。 データセットをホストするだけでなく、教師付き学習タスクで使用するための情報も提供する。 本稿では,データレポジトリからのデータセットの未保存使用が,ユーザビリティの優れた成果にもかかわらず,研究品質と科学的厳密さの低下に繋がった可能性について論じる。 本稿では,グラフデータのための大規模データリポジトリであるOpenMLのデータセットの問題点を示す,最近の著名な研究事例を紹介する。 本図は,(1)最適なモデル選択戦略,(2)強いベースラインを見渡すこと,(3)不適切な前処理を行うことによる,データリポジトリのユーザによる落とし穴の回避を支援する。 そこで本研究では,データリポジトリがデータセットの不適切な使用を防ぎ,実証研究の全体的な品質向上の基盤となる可能性について論じる。

関連論文リスト

• Large Language Models and Synthetic Data for Monitoring Dataset Mentions in Research Papers [0.0]
  本稿では,研究領域間のデータセット参照検出を自動化する機械学習フレームワークを提案する。 我々は,研究論文からゼロショット抽出,品質評価のためのLCM-as-a-Judge,および改良のための推論剤を用いて,弱教師付き合成データセットを生成する。 推論では、ModernBERTベースの分類器がデータセットの参照を効率的にフィルタリングし、高いリコールを維持しながら計算オーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-02-14T16:16:02Z)
• Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models [79.65071553905021]
  所望のデータセットの特徴を考慮したデータ生成手法であるデータアドバイザを提案する。 Data Advisorは生成されたデータの状態を監視し、現在のデータセットの弱点を特定し、データ生成の次のイテレーションをアドバイスする。
  論文  参考訳（メタデータ） (2024-10-07T17:59:58Z)
• Putting Data at the Centre of Offline Multi-Agent Reinforcement Learning [3.623224034411137]
  オフラインマルチエージェント強化学習(英語: offline multi-agent reinforcement learning, MARL)は、静的データセットを用いてマルチエージェントシステムの最適制御ポリシーを見つける研究のエキサイティングな方向である。 この分野は定義上はデータ駆動型だが、これまでのところ、最先端の結果を達成するための努力は、データを無視してきた。 研究の大部分は、一貫した方法論を使わずに独自のデータセットを生成し、これらのデータセットの特徴に関するまばらな情報を提供する。
  論文  参考訳（メタデータ） (2024-09-18T14:13:24Z)
• Lazy Data Practices Harm Fairness Research [49.02318458244464]
  本稿では,公正な機械学習データセットを包括的に分析し,不反射的手法がアルゴリズム的公正度発見の到達度と信頼性をいかに妨げているかを示す。 本分析では,(1)データと評価における特定の保護属性の表現のテクスブフラック,(2)データ前処理におけるマイノリティの広汎なテキストbf,(3)フェアネス研究の一般化を脅かすテキストbfopaqueデータ処理の3つの分野について検討した。 この研究は、公正なMLにおけるデータプラクティスの批判的な再評価の必要性を強調し、データセットのソーシングと使用の両方を改善するための指針を提供する。
  論文  参考訳（メタデータ） (2024-04-26T09:51:24Z)
• A Survey on Data Selection for Language Models [148.300726396877]
  データ選択方法は、トレーニングデータセットに含まれるデータポイントを決定することを目的としている。 ディープラーニングは、主に実証的な証拠によって駆動され、大規模なデータに対する実験は高価である。 広範なデータ選択研究のリソースを持つ組織はほとんどない。
  論文  参考訳（メタデータ） (2024-02-26T18:54:35Z)
• Towards Generalizable Data Protection With Transferable Unlearnable Examples [50.628011208660645]
  本稿では、転送不可能な例を生成することによって、新しい一般化可能なデータ保護手法を提案する。 私たちの知る限りでは、これはデータ分散の観点からデータのプライバシを調べる最初のソリューションです。
  論文  参考訳（メタデータ） (2023-05-18T04:17:01Z)
• Leveraging Data Recasting to Enhance Tabular Reasoning [21.970920861791015]
  これまでの作業は、主に2つのデータ生成戦略に依存していた。 ひとつは人間のアノテーションで、言語学的に多様なデータを生成するが、拡張は困難である。 第2のカテゴリは合成生成であり、スケーラブルで費用対効果があるが、発明性に欠ける。
  論文  参考訳（メタデータ） (2022-11-23T00:04:57Z)
• A Survey of Dataset Refinement for Problems in Computer Vision Datasets [11.45536223418548]
  大規模データセットはコンピュータビジョンの進歩に重要な役割を果たしてきた。 クラス不均衡、ノイズの多いラベル、データセットバイアス、高いリソースコストといった問題に悩まされることが多い。 データセット問題を解決するために、様々なデータ中心のソリューションが提案されている。 データセットを再構成することで、データセットの品質が向上します。
  論文  参考訳（メタデータ） (2022-10-21T03:58:43Z)
• DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
  我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。 利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。 関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。