論文の概要: MAIN: Multihead-Attention Imputation Networks

• arxiv url: http://arxiv.org/abs/2102.05428v1
• Date: Wed, 10 Feb 2021 13:50:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 14:32:28.074932
• Title: MAIN: Multihead-Attention Imputation Networks
• Title（参考訳）: MAIN: Multihead-Attention Imputation Networks
• Authors: Spyridon Mouselinos, Kyriakos Polymenakos, Antonis Nikitakis, Konstantinos Kyriakopoulos
• Abstract要約: 本稿では,任意のモデルに適用可能なマルチヘッドアテンションに基づく新しいメカニズムを提案する。 提案手法は、下流タスクの性能を向上させるために、入力データの欠落パターンを誘導的にモデル化する。
• 参考スコア（独自算出の注目度）: 4.427447378048202
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The problem of missing data, usually absent incurated and competition-standard datasets, is an unfortunate reality for most machine learning models used in industry applications. Recent work has focused on understanding the nature and the negative effects of such phenomena, while devising solutions for optimal imputation of the missing data, using both discriminative and generative approaches. We propose a novel mechanism based on multi-head attention which can be applied effortlessly in any model and achieves better downstream performance without the introduction of the full dataset in any part of the modeling pipeline. Our method inductively models patterns of missingness in the input data in order to increase the performance of the downstream task. Finally, after evaluating our method against baselines for a number of datasets, we found performance gains that tend to be larger in scenarios of high missingness.
• Abstract（参考訳）: データの欠落、通常不正確で競争標準のデータセットの問題は、業界アプリケーションで使用されるほとんどの機械学習モデルにとって不幸な現実です。 最近の研究は、そのような現象の性質と負の効果を理解することに集中し、識別的アプローチと生成的アプローチの両方を用いて、欠落したデータの最適計算のためのソリューションを考案している。 モデリングパイプラインのどの部分にも完全なデータセットを導入することなく、任意のモデルで楽に適用でき、より良い下流パフォーマンスを実現するマルチヘッドの注意に基づく新しいメカニズムを提案します。 本手法は,ダウンストリームタスクの性能を向上させるために入力データの欠落パターンを誘導的にモデル化する。 最後に、多数のデータセットのベースラインに対してこのメソッドを評価した結果、高い欠落のシナリオでパフォーマンスが向上する傾向にあった。

関連論文リスト

• The Data Addition Dilemma [4.869513274920574]
  医療タスクのための多くの機械学習では、標準データセットは、多くの、基本的に異なるソースにまたがるデータを集約することによって構築される。 しかし、いつより多くのデータを追加することが助けになるのか、いつ、実際の設定で望ましいモデル結果の進行を妨げるのか? この状況をtextitData Addition Dilemma と認識し、このマルチソーススケーリングコンテキストにトレーニングデータを追加すると、全体的な精度が低下し、不確実なフェアネスの結果が減少し、最悪のサブグループのパフォーマンスが低下することを示した。
  論文  参考訳（メタデータ） (2024-08-08T01:42:31Z)
• Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
  我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。 ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。 これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
  論文  参考訳（メタデータ） (2023-11-28T16:46:14Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Unsupervised Disentanglement without Autoencoding: Pitfalls and Future Directions [21.035001142156464]
  切り離された視覚表現は、変分オートエンコーダ(VAE)のような生成モデルで主に研究されている。 コントラスト学習を用いた正規化手法について検討し、大規模データセットや下流アプリケーションに十分強力なアンタングル表現をもたらす可能性があることを示す。 下流タスクとの絡み合いを評価し、使用する各正規化の利点と欠点を分析し、今後の方向性について議論する。
  論文  参考訳（メタデータ） (2021-08-14T21:06:42Z)
• End-to-End Weak Supervision [15.125993628007972]
  下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。 下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:10:11Z)
• Exploring the Efficacy of Automatically Generated Counterfactuals for Sentiment Analysis [17.811597734603144]
  本稿では,データ拡張と説明のためのデファクトデータの自動生成手法を提案する。 いくつかの異なるデータセットに対する包括的な評価と、さまざまな最先端ベンチマークの使用により、我々のアプローチがモデルパフォーマンスを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-06-29T10:27:01Z)
• Training Deep Normalizing Flow Models in Highly Incomplete Data Scenarios with Prior Regularization [13.985534521589257]
  ハイパウシティシナリオにおけるデータ分布の学習を容易にする新しいフレームワークを提案する。 提案手法は,不完全データから学習過程を協調最適化タスクとして行うことに由来する。
  論文  参考訳（メタデータ） (2021-04-03T20:57:57Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Adversarial Filters of Dataset Biases [96.090959788952]
  大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。 それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。 このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
  論文  参考訳（メタデータ） (2020-02-10T21:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。