論文の概要: Exploring the Impact of Dataset Statistical Effect Size on Model Performance and Data Sample Size Sufficiency

• arxiv url: http://arxiv.org/abs/2501.02673v2
• Date: Tue, 18 Feb 2025 18:39:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:01:37.871876
• Title: Exploring the Impact of Dataset Statistical Effect Size on Model Performance and Data Sample Size Sufficiency
• Title（参考訳）: モデル性能とデータサンプルサイズ満足度に及ぼすデータセット統計効果の影響について
• Authors: Arya Hatamian, Lionel Levine, Haniyeh Ehsani Oskouie, Majid Sarrafzadeh,
• Abstract要約: 基礎的な記述的統計測度が、データセットが結果モデルのトレーニングにおいてどれだけ効果的かを示すことができるかどうかを、よりよく確かめるために行われた2つの実験について報告する。 以上の結果から,本手法は適切なサンプルサイズや投影モデルの性能を決定する上では有効ではないことが示唆される。
• 参考スコア（独自算出の注目度）: 2.444909460562512
• License:
• Abstract: Having a sufficient quantity of quality data is a critical enabler of training effective machine learning models. Being able to effectively determine the adequacy of a dataset prior to training and evaluating a model's performance would be an essential tool for anyone engaged in experimental design or data collection. However, despite the need for it, the ability to prospectively assess data sufficiency remains an elusive capability. We report here on two experiments undertaken in an attempt to better ascertain whether or not basic descriptive statistical measures can be indicative of how effective a dataset will be at training a resulting model. Leveraging the effect size of our features, this work first explores whether or not a correlation exists between effect size, and resulting model performance (theorizing that the magnitude of the distinction between classes could correlate to a classifier's resulting success). We then explore whether or not the magnitude of the effect size will impact the rate of convergence of our learning rate, (theorizing again that a greater effect size may indicate that the model will converge more rapidly, and with a smaller sample size needed). Our results appear to indicate that this is not an effective heuristic for determining adequate sample size or projecting model performance, and therefore that additional work is still needed to better prospectively assess adequacy of data.
• Abstract（参考訳）: 十分な量の品質データを持つことは、効果的な機械学習モデルをトレーニングするための重要な有効性である。 モデルの性能をトレーニングおよび評価する前にデータセットの妥当性を効果的に決定できることは、実験的な設計やデータ収集に従事している人には必須のツールである。 しかし、その必要性にもかかわらず、データ満足度を前向きに評価する能力は、いまだ明白な能力である。 本稿では,基礎的な記述的統計測度が,データセットの学習における有効性を示すものであるか否かを,よりよく確かめるために実施された2つの実験について報告する。 この研究は、我々の特徴の効用サイズを利用して、まず効果サイズと結果のモデル性能の間に相関が存在するかどうかを探求する(クラス間の差の大きさは分類器の結果の成功と相関する)。 次に、効果サイズの大きさが学習率の収束率に影響を及ぼすかどうかを考察する(また、より大きな効果サイズがモデルがより高速に収束し、必要なサンプルサイズが小さくなることを示している)。 以上の結果から,これは適切なサンプルサイズや投影モデルの性能を決定するための効果的なヒューリスティックではないことが示唆される。

関連論文リスト

• Scaling Laws for the Value of Individual Data Points in Machine Learning [55.596413470429475]
  個々のデータポイントの値のスケーリング行動を調べることによって、新しい視点を導入する。 スケーリング法則を支持するための学習理論を提供し、それが様々なモデルクラスにまたがっていることを実証的に観察する。 私たちの研究は、個々のデータポイントの値のスケーリング特性を理解し、活用するための第一歩です。
  論文  参考訳（メタデータ） (2024-05-30T20:10:24Z)
• The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes [30.30769701138665]
  我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。 具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。 トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-14T03:43:05Z)
• Exploring the Impact of Instruction Data Scaling on Large Language Models: An Empirical Study on Real-World Use Cases [17.431381376675432]
  本稿では,命令データのスケールの異なる命令データに対して,命令チューニングに基づく大規模言語モデルの性能について検討する。 ベースモデルとしてBloomz-7B1-mtを用いると、命令データの量を増やすだけで、オープン・エンド・ジェネレーションのようなタスクが継続的に改善されることが示される。 本稿では,高品質なトレーニングデータ,スケールベースモデル,ハードタスクに特化したトレーニング手法を効果的に選択する,といった将来的な研究方向を提案する。
  論文  参考訳（メタデータ） (2023-03-26T14:49:37Z)
• Striving for data-model efficiency: Identifying data externalities on group performance [75.17591306911015]
  信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。 我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。 以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
  論文  参考訳（メタデータ） (2022-11-11T16:48:27Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
  サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。 高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。 これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-12T17:54:59Z)
• On the impact of dataset size and class imbalance in evaluating machine-learning-based windows malware detection techniques [0.0]
  一部の研究者は、より小さなデータセットを使用し、データセットのサイズがパフォーマンスに重大な影響を与えている場合、公表された結果の比較が困難になる。 このプロジェクトは、データセットのサイズが測定された検出器の性能と関係しているかどうかを理解するために、2つの重要な目標を特定した。 結果は、高い精度のスコアが必ずしも高い実世界のパフォーマンスに必ずしも変換されないことを示唆した。
  論文  参考訳（メタデータ） (2022-06-13T15:37:31Z)
• The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning [25.85044477227461]
  このベースラインに対するアウト・オブ・ディストリビューションデータより正確であるモデルは「有効ロバスト性」を示す。 より大規模なデータセットで事前トレーニングされたモデルは、収束時に消滅するトレーニング中に効果的な堅牢性を示す。 本稿では, 最先端システムに効率的なロバスト性を拡張し, 最先端モデルの分布外精度を向上させるためのいくつかの戦略について論じる。
  論文  参考訳（メタデータ） (2021-06-30T06:21:42Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。