論文の概要: Certain and Approximately Certain Models for Statistical Learning
- arxiv url: http://arxiv.org/abs/2402.17926v2
- Date: Fri, 1 Mar 2024 19:48:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 19:35:57.140984
- Title: Certain and Approximately Certain Models for Statistical Learning
- Title(参考訳): 統計的学習のための確率モデルと近似モデル
- Authors: Cheng Zhen, Nischal Aryal, Arash Termehchy, Alireza Aghasi, Amandeep
Singh Chabada
- Abstract要約: 特定のトレーニングデータや対象モデルに対して,不足値を持つデータから,正確なモデルを直接学習することが可能であることを示す。
我々は、理論的に保証された効率的なアルゴリズムを構築し、この必要条件を確認し、計算が不要な場合に正確なモデルを返す。
- 参考スコア(独自算出の注目度): 4.318959672085627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world data is often incomplete and contains missing values. To train
accurate models over real-world datasets, users need to spend a substantial
amount of time and resources imputing and finding proper values for missing
data items. In this paper, we demonstrate that it is possible to learn accurate
models directly from data with missing values for certain training data and
target models. We propose a unified approach for checking the necessity of data
imputation to learn accurate models across various widely-used machine learning
paradigms. We build efficient algorithms with theoretical guarantees to check
this necessity and return accurate models in cases where imputation is
unnecessary. Our extensive experiments indicate that our proposed algorithms
significantly reduce the amount of time and effort needed for data imputation
without imposing considerable computational overhead.
- Abstract(参考訳): 現実世界のデータはしばしば不完全であり、値が不足している。
実世界のデータセット上で正確なモデルをトレーニングするには、ユーザーは膨大な時間とリソースを投入し、欠落したデータアイテムの適切な値を見つける必要がある。
本稿では,特定のトレーニングデータや対象モデルに対して,不足値を持つデータから直接正確なモデルを学習できることを実証する。
本稿では,様々な機械学習パラダイムにまたがって,正確なモデルを学ぶためのデータインプテーションの必要性をチェックするための統一的アプローチを提案する。
この必要性を理論的に保証した効率的なアルゴリズムを構築し、インプテーションが不要な場合に正確なモデルを返す。
実験の結果,提案アルゴリズムは計算オーバーヘッドを伴わずに,データ計算に要する時間と労力を大幅に削減できることがわかった。
関連論文リスト
- Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳(メタデータ) (2023-11-29T05:33:28Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳(メタデータ) (2023-11-02T01:51:43Z) - AI Model Disgorgement: Methods and Choices [127.54319351058167]
本稿では,現代の機械学習システムに適用可能な分類法を紹介する。
学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
論文 参考訳(メタデータ) (2023-04-07T08:50:18Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - PROMISSING: Pruning Missing Values in Neural Networks [0.0]
本稿では,ニューラルネットワークの学習と推論の段階において,欠落値(PROMISSing)を抽出する,シンプルで直感的かつ効果的な手法を提案する。
実験の結果, ProMISSing は様々な計算手法と比較して予測性能が良くなることがわかった。
論文 参考訳(メタデータ) (2022-06-03T15:37:27Z) - Learning to be a Statistician: Learned Estimator for Number of Distinct
Values [54.629042119819744]
列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。
本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。
教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
論文 参考訳(メタデータ) (2022-02-06T15:42:04Z) - Minimax rate of consistency for linear models with missing values [0.0]
多くの実世界のデータセットでは、複数のソースが集約され、本質的に欠落した情報(センサーの故障、調査における未回答の疑問...)が欠落する。
本稿では,広範に研究された線形モデルに焦点をあてるが,不足する値が存在する場合には,非常に難しい課題であることが判明した。
最終的には、多くの学習タスクを解決し、入力機能の数を指数関数的にすることで、現在の現実世界のデータセットでは予測が不可能になる。
論文 参考訳(メタデータ) (2022-02-03T08:45:34Z) - Complementary Ensemble Learning [1.90365714903665]
我々は最先端のディープラーニングモデルの性能向上手法を考案した。
具体的には、最先端モデルの不確実性を補完できる補助モデルを訓練する。
論文 参考訳(メタデータ) (2021-11-09T03:23:05Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - Data Minimization for GDPR Compliance in Machine Learning Models [0.0]
EUの一般データ保護規則は、収集される特定の目的を満たすために必要なデータのみを要求する。
予測を行うのに必要な個人データの量を削減するための第一種手法を提案する。
本手法では,モデルの精度にはほとんど影響を与えない一般化を実現するために,モデル内に符号化された知識を利用する。
論文 参考訳(メタデータ) (2020-08-06T08:21:15Z) - Learning from Imperfect Annotations [15.306536555936692]
現在、多くの機械学習システムは、大量の人間の注釈付きデータに基づいて訓練されている。
モデルトレーニングとアグリゲーションステップをマージすることを可能にする新しいエンドツーエンドフレームワークを提案する。
アノテーションを集約する現在の最先端アプローチに比べて、精度が最大25%向上していることを示す。
論文 参考訳(メタデータ) (2020-04-07T15:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。