論文の概要: FOSA: Full Information Maximum Likelihood (FIML) Optimized
Self-Attention Imputation for Missing Data
- arxiv url: http://arxiv.org/abs/2308.12388v1
- Date: Wed, 23 Aug 2023 19:01:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-25 16:26:04.892292
- Title: FOSA: Full Information Maximum Likelihood (FIML) Optimized
Self-Attention Imputation for Missing Data
- Title(参考訳): FOSA: 欠損データに対するFIML(Full Information Maximum Likelihood)最適化自己注意障害
- Authors: Ou Deng, Qun Jin
- Abstract要約: データ計算では、特に複雑なデータセットにおいて、欠落した値に効果的に対処することが重要である。
本稿では、FIML最適化自己注意(FOSA)フレームワークについて述べる。これは、FIML推定の強みと自己注意ニューラルネットワークの能力とを両立させる革新的なアプローチである。
私たちの経験的テストでは、FOSAは最大40%のランダムな欠損に直面しても、常に満足できる予測を提供しています。
- 参考スコア(独自算出の注目度): 2.658762712049704
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In data imputation, effectively addressing missing values is pivotal,
especially in intricate datasets. This paper delves into the FIML Optimized
Self-attention (FOSA) framework, an innovative approach that amalgamates the
strengths of Full Information Maximum Likelihood (FIML) estimation with the
capabilities of self-attention neural networks. Our methodology commences with
an initial estimation of missing values via FIML, subsequently refining these
estimates by leveraging the self-attention mechanism. Our comprehensive
experiments on both simulated and real-world datasets underscore FOSA's
pronounced advantages over traditional FIML techniques, encapsulating facets of
accuracy, computational efficiency, and adaptability to diverse data
structures. Intriguingly, even in scenarios where the Structural Equation Model
(SEM) might be mis-specified, leading to suboptimal FIML estimates, the robust
architecture of FOSA's self-attention component adeptly rectifies and optimizes
the imputation outcomes. Our empirical tests reveal that FOSA consistently
delivers commendable predictions, even in the face of up to 40% random
missingness, highlighting its robustness and potential for wide-scale
applications in data imputation.
- Abstract(参考訳): データ計算では、特に複雑なデータセットにおいて、欠落した値に効果的に対処することが重要である。
本稿では、FIML最適化自己意識(FOSA)フレームワークについて述べる。これは、FIML(Full Information Maximum Likelihood)推定の強みと自己認識ニューラルネットワークの能力とを両立させる革新的なアプローチである。
提案手法は,fimlによる欠落値の初期推定から始まり,自己着脱機構を利用してこれらの推定を精錬する。
シミュレーションと実世界の両方のデータセットに関する包括的な実験は、従来のFIML技術に対するFOSAの顕著なアドバンテージを強調し、精度、計算効率、多様なデータ構造への適応性をカプセル化した。
興味深いことに、構造方程式モデル (Structure Equation Model, SEM) が誤って特定される場合であっても、FOSAの自己注意コンポーネントの堅牢なアーキテクチャは、インパルスの結果を適切に修正し、最適化する。
経験的なテストでは、fosaは、最大40%のランダムな欠如に直面しても、常に賞賛可能な予測を提供しており、データインプテーションにおける大規模アプリケーションにおけるその堅牢性と可能性を強調しています。
関連論文リスト
- ICU Bloodstream Infection Prediction: A Transformer-Based Approach for EHR Analysis [0.0]
本稿では,集中治療室(ICU)における電子健康記録(EHR)データの予測分析を目的とした新しいフレームワークであるRatchetEHRを紹介する。
R RatchetEHRは、RNN、LSTM、XGBoostなど、他の方法と比較して優れた予測性能を示している。
RatchetEHRにおける重要なイノベーションは、Graph Convolutional Transformer (GCT)コンポーネントの統合である。
論文 参考訳(メタデータ) (2024-05-01T19:00:30Z) - Mitigating Reward Hacking via Information-Theoretic Reward Modeling [70.26019860948114]
本稿では,報酬モデリングのための汎用的で堅牢なフレームワークであるInfoRMを提案する。
我々は,潜伏空間における過最適化と外れ値の相関を同定し,報酬過最適化を検出するための有望なツールとしてInfoRMを確立した。
論文 参考訳(メタデータ) (2024-02-14T17:49:07Z) - Automated Fusion of Multimodal Electronic Health Records for Better
Medical Predictions [48.0590120095748]
本稿では,多様な入力モダリティと融合戦略を符号化する最適なモデルアーキテクチャを自動検索する,AutoFMという新しいニューラルネットワーク探索フレームワークを提案する。
我々は実世界のマルチモーダルEHRデータと予測タスクについて徹底的な実験を行い、その結果、我々のフレームワークが既存の最先端手法よりも大幅な性能向上を実現していることを示す。
論文 参考訳(メタデータ) (2024-01-20T15:14:14Z) - EEGFormer: Towards Transferable and Interpretable Large-Scale EEG
Foundation Model [39.363511340878624]
大規模複合脳波データに基づいて事前学習した脳波基礎モデル,すなわちEEGFormerを提案する。
本モデルの有効性を検証するため,様々な下流タスクにおいて広範囲に評価し,異なる転送条件下での性能を評価する。
論文 参考訳(メタデータ) (2024-01-11T17:36:24Z) - Inference of Dependency Knowledge Graph for Electronic Health Records [13.35941801610195]
動的対数線形トピックモデルに基づくスパース知識グラフの導出フレームワークを提案する。
このモデルでは、経験的ポイントワイド相互情報行列上で特異値分解を行うことにより、KG埋め込みを推定する。
次に、KG低ランク推定器のエントリーワイド正規度を確立し、制御されたI型誤差によるスパースグラフエッジの回復を可能にする。
論文 参考訳(メタデータ) (2023-12-25T04:45:36Z) - Filling the Missing: Exploring Generative AI for Enhanced Federated
Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。
実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
論文 参考訳(メタデータ) (2023-10-21T12:07:04Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-10-10T13:23:05Z) - MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data
Augmentation [58.93221876843639]
本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。
トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。
ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
論文 参考訳(メタデータ) (2023-10-04T01:36:30Z) - Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。
PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。
提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2023-09-27T14:39:41Z) - Physics-Informed Graph Neural Network for Spatial-temporal Production
Forecasting [0.0]
歴史的データに基づく生産予測は、炭化水素資源の開発に不可欠な価値を提供する。
生産予測のためのグリッドフリーな物理インフォームドグラフニューラルネットワーク(PI-GNN)を提案する。
論文 参考訳(メタデータ) (2022-09-23T23:28:40Z) - Handling Non-ignorably Missing Features in Electronic Health Records
Data Using Importance-Weighted Autoencoders [8.518166245293703]
本稿では,生体データのランダムなパターンではなく,欠落を柔軟に扱うために,重要度重み付きオートエンコーダ(iwaes)と呼ばれるvaesの新たな拡張を提案する。
提案手法は,組み込みニューラルネットワークを用いて欠落機構をモデル化し,欠落機構の正確な形式を事前に指定する必要をなくした。
論文 参考訳(メタデータ) (2021-01-18T22:53:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。