論文の概要: Information FOMO: The unhealthy fear of missing out on information. A method for removing misleading data for healthier models

• arxiv url: http://arxiv.org/abs/2208.13080v3
• Date: Sun, 7 Jul 2024 15:44:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 05:52:24.739089
• Title: Information FOMO: The unhealthy fear of missing out on information. A method for removing misleading data for healthier models
• Title（参考訳）: 情報FOMO:情報の欠落に対する不健康な恐れ : より健康なモデルのための誤解を招くデータを削除する方法
• Authors: Ethan Pickering, Themistoklis P. Sapsis,
• Abstract要約: ミスリーディングや不要なデータは、マシンラーニング(ML)モデルの健全性や正確性に大きく影響します。 本稿では,データセット内の重要な情報を特定するシーケンシャルな選択法を提案する。 これらの不安定性は、基礎となるマップの複雑さの結果であり、極端な事象や重い尾と結びついている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Misleading or unnecessary data can have out-sized impacts on the health or accuracy of Machine Learning (ML) models. We present a Bayesian sequential selection method, akin to Bayesian experimental design, that identifies critically important information within a dataset, while ignoring data that is either misleading or brings unnecessary complexity to the surrogate model of choice. Our method improves sample-wise error convergence and eliminates instances where more data leads to worse performance and instabilities of the surrogate model, often termed sample-wise ``double descent''. We find these instabilities are a result of the complexity of the underlying map and linked to extreme events and heavy tails. Our approach has two key features. First, the selection algorithm dynamically couples the chosen model and data. Data is chosen based on its merits towards improving the selected model, rather than being compared strictly against other data. Second, a natural convergence of the method removes the need for dividing the data into training, testing, and validation sets. Instead, the selection metric inherently assesses testing and validation error through global statistics of the model. This ensures that key information is never wasted in testing or validation. The method is applied using both Gaussian process regression and deep neural network surrogate models.
• Abstract（参考訳）: ミスリーディングや不要なデータは、マシンラーニング(ML)モデルの健全性や正確性に大きく影響します。 本稿では,データセット内の重要な情報を識別するベイズ連続選択法について述べるが,その一方で,選択したサロゲートモデルに不必要な複雑さをもたらすデータを無視している。 提案手法は,サンプル単位の誤差収束を改善し,より多くのデータがサロゲートモデルの性能や不安定性を悪化させるインスタンスを除去する。 これらの不安定性は、基礎となるマップの複雑さの結果であり、極端な事象や重い尾と結びついている。 このアプローチには2つの重要な特徴があります。 まず、選択アルゴリズムは選択したモデルとデータを動的に結合する。 データは、他のデータと厳密に比較されるのではなく、選択したモデルを改善するというメリットに基づいて選択される。 第二に、このメソッドの自然な収束は、データをトレーニング、テスト、検証セットに分割する必要性を取り除く。 その代わりに、選択基準は本質的に、モデルのグローバル統計を通じてテストと検証の誤差を評価する。 これにより、重要な情報がテストや検証に費やされることがなくなる。 この手法はガウス過程回帰モデルとディープニューラルネットワークサロゲートモデルの両方を用いて適用される。

関連論文リスト

• Data Pruning in Generative Diffusion Models [2.0111637969968]
  生成モデルは、データの基盤となる分布を推定することを目的としている。 大規模データセットにおける冗長データやノイズデータの排除は,特に戦略的に行う場合,特に有益であることを示す。
  論文  参考訳（メタデータ） (2024-11-19T14:13:25Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Machine Learning Data Suitability and Performance Testing Using Fault Injection Testing Framework [0.0]
  本稿では,入力データ(FIUL-Data)テストフレームワークにおける望ましくない学習のためのフォールトインジェクションを提案する。 データミュータは、さまざまな障害注入の影響に対して、MLシステムの脆弱性を探索する。 本稿では, アンチセンスオリゴヌクレオチドの保持時間測定を含む分析化学データを用いて, フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-09-20T12:58:35Z)
• Semi-Supervised Learning with Multiple Imputations on Non-Random Missing Labels [0.0]
  Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータの両方でアルゴリズムがトレーニングされるときに実装される。 本稿では,より高精度でバイアスの少ない複数の計算モデルを組み合わせるための2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T04:09:53Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Eeny, meeny, miny, moe. How to choose data for morphological inflection [8.914777617216862]
  本稿では,トランスフォーマーモデルを用いた形態的インフレクション作業のための4つのサンプリング戦略について検討する。 そこで本研究では,30言語にまたがる戦略の頑健さについて検討する。 この結果から,モデル信頼度とエントロピーに基づくデータ選択のメリットが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-26T04:33:18Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Time Series Anomaly Detection with label-free Model Selection [0.6303112417588329]
  ラベルのない時系列データに対するラベルなしモデル選択を用いた新しい異常検出アルゴリズムであるLaF-ADを提案する。 我々のアルゴリズムは容易に並列化可能であり、不条件データや季節データに対してより堅牢であり、多数の異常モデルに対して非常にスケーラブルである。
  論文  参考訳（メタデータ） (2021-06-11T00:21:06Z)
• Data from Model: Extracting Data from Non-robust and Robust Models [83.60161052867534]
  この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。 本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。 以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
  論文  参考訳（メタデータ） (2020-07-13T05:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。