論文の概要: A Bias-Variance Decomposition for Ensembles over Multiple Synthetic
Datasets
- arxiv url: http://arxiv.org/abs/2402.03985v1
- Date: Tue, 6 Feb 2024 13:20:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 14:56:16.405373
- Title: A Bias-Variance Decomposition for Ensembles over Multiple Synthetic
Datasets
- Title(参考訳): 複数の合成データセット上のアンサンブルのバイアス分散分解
- Authors: Ossi R\"ais\"a, Antti Honkela
- Abstract要約: 最近の研究は、教師あり学習のための複数の合成データセットを生成する利点を強調している。
これらの利点は明らかな実証的な支持を持っているが、理論的な理解は今のところ非常に軽い。
複数の合成データセットを使用するいくつかの設定に対して、バイアス分散分解を導出することで理論的理解を高めることを目指す。
- 参考スコア(独自算出の注目度): 4.777272940677689
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies have highlighted the benefits of generating multiple synthetic
datasets for supervised learning, from increased accuracy to more effective
model selection and uncertainty estimation. These benefits have clear empirical
support, but the theoretical understanding of them is currently very light. We
seek to increase the theoretical understanding by deriving bias-variance
decompositions for several settings of using multiple synthetic datasets. Our
theory predicts multiple synthetic datasets to be especially beneficial for
high-variance downstream predictors, and yields a simple rule of thumb to
select the appropriate number of synthetic datasets in the case of mean-squared
error and Brier score. We investigate how our theory works in practice by
evaluating the performance of an ensemble over many synthetic datasets for
several real datasets and downstream predictors. The results follow our theory,
showing that our insights are also practically relevant.
- Abstract(参考訳): 近年の研究では、精度の向上からより効果的なモデル選択、不確実性推定に至るまで、教師あり学習のための複数の合成データセットを生成する利点を強調している。
これらの利点は明確な実証的支援を持っているが、理論的な理解は現在非常に軽い。
本研究では,複数の合成データセットを用いた場合のバイアス分散分解を導出することにより,理論的理解を深める。
本理論は,複数の合成データセットが高分散下流予測器に特に有益であると予測し,平均二乗誤差とブライアスコアの場合,適切な合成データセットを選択するための簡単な規則を与える。
我々は,本理論が実際にどのように機能するかを,複数の実際のデータセットと下流予測器に対する多くの合成データセットに対するアンサンブルの性能を評価することによって検討する。
結果は我々の理論に従い、我々の洞察も事実上関連していることを示している。
関連論文リスト
- Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large
Language Models by Extrapolating Errors from Small Models [69.76066070227452]
※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。
本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。
提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
論文 参考訳(メタデータ) (2023-10-20T17:14:25Z) - Private Synthetic Data Meets Ensemble Learning [15.425653946755025]
機械学習モデルが合成データに基づいてトレーニングされ、実際のデータにデプロイされると、しばしばパフォーマンス低下が発生する。
実データを用いた場合のパフォーマンス向上を目標として,下流モデルのトレーニングのための新たなアンサンブル戦略を導入する。
論文 参考訳(メタデータ) (2023-10-15T04:24:42Z) - Hodge-Aware Contrastive Learning [101.56637264703058]
単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。
我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
論文 参考訳(メタデータ) (2023-09-14T00:40:07Z) - Utility Theory of Synthetic Data Generation [14.061357975073319]
本稿では,統計的学習フレームワークにおける実用理論の確立により,実践と理論のギャップを埋める。
合成データに基づいてトレーニングされたモデルの一般化とランキングの2つのユーティリティメトリクスを考慮に入れている。
論文 参考訳(メタデータ) (2023-05-17T07:49:16Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳(メタデータ) (2023-05-16T07:30:29Z) - Trustworthiness of Laser-Induced Breakdown Spectroscopy Predictions via
Simulation-based Synthetic Data Augmentation and Multitask Learning [4.633997895806144]
レーザ誘起分解分光法を用いてスペクトルデータの定量的解析を行う。
我々は、利用可能なトレーニングデータの小さなサイズと、未知のデータに対する推論中の予測の検証に対処する。
論文 参考訳(メタデータ) (2022-10-07T18:00:09Z) - Investigating Bias with a Synthetic Data Generator: Empirical Evidence
and Philosophical Interpretation [66.64736150040093]
機械学習の応用は、私たちの社会でますます広まりつつある。
リスクは、データに埋め込まれたバイアスを体系的に広めることである。
本稿では,特定の種類のバイアスとその組み合わせで合成データを生成するフレームワークを導入することにより,バイアスを分析することを提案する。
論文 参考訳(メタデータ) (2022-09-13T11:18:50Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Simple Imputation Rules for Prediction with Missing Data: Contrasting
Theoretical Guarantees with Empirical Performance [7.642646077340124]
実際のデータセットでは、データの欠落が一般的な問題である。
本稿では, 理論的, 実証的証拠を対比して, 即効性パイプラインの性能について検討する。
論文 参考訳(メタデータ) (2021-04-07T14:45:14Z) - Foundations of Bayesian Learning from Synthetic Data [1.6249267147413522]
我々はベイズパラダイムを用いて、合成データから学習する際のモデルパラメータの更新を特徴付ける。
ベイジアン・アップデートの最近の成果は、決定理論に基づく新しい、堅牢な合成学習のアプローチを支持している。
論文 参考訳(メタデータ) (2020-11-16T21:49:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。