論文の概要: RefiDiff: Refinement-Aware Diffusion for Efficient Missing Data Imputation
- arxiv url: http://arxiv.org/abs/2505.14451v1
- Date: Tue, 20 May 2025 14:51:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-21 14:49:53.435367
- Title: RefiDiff: Refinement-Aware Diffusion for Efficient Missing Data Imputation
- Title(参考訳): RefiDiff: 効率的なミスデータインプットのためのリファインメント対応拡散
- Authors: Md Atik Ahamed, Qiang Ye, Qiang Cheng,
- Abstract要約: 高次元混合型データセットの欠落値は、データ計算に重大な課題をもたらす。
本稿では,ローカルな機械学習予測と,新しいマンバベースの認知ネットワークを組み合わせた,革新的なフレームワークRefiDiffを提案する。
RefiDiffは、DDPMベースのアプローチよりも4倍高速なトレーニング時間で、不足値設定でステート・ザ・アート(SOTA)メソッドをパフォーマンスします。
- 参考スコア(独自算出の注目度): 13.401822039640297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Missing values in high-dimensional, mixed-type datasets pose significant challenges for data imputation, particularly under Missing Not At Random (MNAR) mechanisms. Existing methods struggle to integrate local and global data characteristics, limiting performance in MNAR and high-dimensional settings. We propose an innovative framework, RefiDiff, combining local machine learning predictions with a novel Mamba-based denoising network capturing interrelationships among distant features and samples. Our approach leverages pre-refinement for initial warm-up imputations and post-refinement to polish results, enhancing stability and accuracy. By encoding mixed-type data into unified tokens, RefiDiff enables robust imputation without architectural or hyperparameter tuning. RefiDiff outperforms state-of-the-art (SOTA) methods across missing-value settings, excelling in MNAR with a 4x faster training time than SOTA DDPM-based approaches. Extensive evaluations on nine real-world datasets demonstrate its robustness, scalability, and effectiveness in handling complex missingness patterns.
- Abstract(参考訳): 高次元混合型データセットの欠落値は、特にMNAR(Missing Not At Random)メカニズムの下で、データ計算に重大な課題をもたらす。
既存の手法では、局所的およびグローバルなデータ特性の統合に苦労し、MNARの性能と高次元設定を制限している。
本稿では,ローカルな機械学習予測と,遠隔地の特徴とサンプル間の相互関係を捉える新しいマンバ型認知ネットワークを組み合わせた,革新的なフレームワークRefiDiffを提案する。
提案手法は,初期温暖化処理におけるプレリファインメントと後リファインメントを利用して,結果を研磨し,安定性と精度を向上する。
混合型データを統一トークンにエンコードすることで、RefiDiffはアーキテクチャやハイパーパラメータチューニングなしで堅牢な計算を可能にする。
RefiDiffは、SOTA DDPMベースのアプローチよりも4倍高速なトレーニング時間を持つMNARにおいて、欠落値設定における最先端(SOTA)メソッドよりも優れています。
9つの実世界のデータセットに対する大規模な評価は、複雑な不足パターンを扱う際の堅牢性、スケーラビリティ、有効性を示している。
関連論文リスト
- Precision Adaptive Imputation Network : An Unified Technique for Mixed Datasets [0.0]
本研究では,データ再構成の高速化を目的とした新しいアルゴリズムである精度適応型インダクタンスネットワーク(PAIN)を紹介する。
PAINは統計手法、ランダム森林、オートエンコーダを統合する三段階プロセスを採用し、計算精度と効率のバランスを確保する。
この結果は、特に欠如が完全にランダムではない複雑なシナリオにおいて、データ分散を保存し、分析的整合性を維持するPAINの優れた能力を浮き彫りにしている。
論文 参考訳(メタデータ) (2025-01-18T06:22:27Z) - Going Beyond Feature Similarity: Effective Dataset Distillation based on Class-Aware Conditional Mutual Information [43.44508080585033]
本稿では,データセットのクラス認識複雑性を評価するために,条件付き相互情報(CMI)を導入する。
合成データセットのクラス認識複雑性を制約しながら,蒸留損失を最小限に抑える。
論文 参考訳(メタデータ) (2024-12-13T08:10:47Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳(メタデータ) (2023-10-18T02:59:57Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳(メタデータ) (2022-06-26T16:00:22Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。