論文の概要: RefiDiff: Refinement-Aware Diffusion for Efficient Missing Data Imputation
- arxiv url: http://arxiv.org/abs/2505.14451v1
- Date: Tue, 20 May 2025 14:51:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-21 14:49:53.435367
- Title: RefiDiff: Refinement-Aware Diffusion for Efficient Missing Data Imputation
- Title（参考訳）: RefiDiff: 効率的なミスデータインプットのためのリファインメント対応拡散
- Authors: Md Atik Ahamed, Qiang Ye, Qiang Cheng,
- Abstract要約: 高次元混合型データセットの欠落値は、データ計算に重大な課題をもたらす。
本稿では,ローカルな機械学習予測と,新しいマンバベースの認知ネットワークを組み合わせた,革新的なフレームワークRefiDiffを提案する。
RefiDiffは、DDPMベースのアプローチよりも4倍高速なトレーニング時間で、不足値設定でステート・ザ・アート(SOTA)メソッドをパフォーマンスします。
- 参考スコア（独自算出の注目度）: 13.401822039640297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Missing values in high-dimensional, mixed-type datasets pose significant challenges for data imputation, particularly under Missing Not At Random (MNAR) mechanisms. Existing methods struggle to integrate local and global data characteristics, limiting performance in MNAR and high-dimensional settings. We propose an innovative framework, RefiDiff, combining local machine learning predictions with a novel Mamba-based denoising network capturing interrelationships among distant features and samples. Our approach leverages pre-refinement for initial warm-up imputations and post-refinement to polish results, enhancing stability and accuracy. By encoding mixed-type data into unified tokens, RefiDiff enables robust imputation without architectural or hyperparameter tuning. RefiDiff outperforms state-of-the-art (SOTA) methods across missing-value settings, excelling in MNAR with a 4x faster training time than SOTA DDPM-based approaches. Extensive evaluations on nine real-world datasets demonstrate its robustness, scalability, and effectiveness in handling complex missingness patterns.
- Abstract（参考訳）: 高次元混合型データセットの欠落値は、特にMNAR(Missing Not At Random)メカニズムの下で、データ計算に重大な課題をもたらす。
既存の手法では、局所的およびグローバルなデータ特性の統合に苦労し、MNARの性能と高次元設定を制限している。
本稿では,ローカルな機械学習予測と,遠隔地の特徴とサンプル間の相互関係を捉える新しいマンバ型認知ネットワークを組み合わせた,革新的なフレームワークRefiDiffを提案する。
提案手法は,初期温暖化処理におけるプレリファインメントと後リファインメントを利用して,結果を研磨し,安定性と精度を向上する。
混合型データを統一トークンにエンコードすることで、RefiDiffはアーキテクチャやハイパーパラメータチューニングなしで堅牢な計算を可能にする。
RefiDiffは、SOTA DDPMベースのアプローチよりも4倍高速なトレーニング時間を持つMNARにおいて、欠落値設定における最先端(SOTA)メソッドよりも優れています。
9つの実世界のデータセットに対する大規模な評価は、複雑な不足パターンを扱う際の堅牢性、スケーラビリティ、有効性を示している。
関連論文リスト
- Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。
動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。
これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
論文 参考訳（メタデータ） (2025-07-14T16:19:00Z) - Filling the Missings: Spatiotemporal Data Imputation by Conditional Diffusion [7.021277706390712]
環境モニタリングから都市交通管理まで,現代的応用への課題が提示されている。
機械学習とディープラーニングに基づく現在のアプローチは、空間次元と時間次元の依存性を効果的にモデル化するために苦労している。
CoFILLは、拡散品質モデルの本質的な利点に基づいて、高品質な計算結果を生成する。
論文 参考訳（メタデータ） (2025-06-08T11:53:06Z) - A Deep Bayesian Nonparametric Framework for Robust Mutual Information Estimation [9.68824512279232]
相互情報(MI)は、変数間の依存関係をキャプチャするための重要な手段である。
正規化を組み込むためにディリクレ過程後部の有限表現でMI損失を構成することでMI推定器を訓練するソリューションを提案する。
データ空間と変分オートエンコーダの潜時空間の間のMIを最大化するための推定器の適用について検討する。
論文 参考訳（メタデータ） (2025-03-11T21:27:48Z) - Precision Adaptive Imputation Network : An Unified Technique for Mixed Datasets [0.0]
本研究では,データ再構成の高速化を目的とした新しいアルゴリズムである精度適応型インダクタンスネットワーク(PAIN)を紹介する。
PAINは統計手法、ランダム森林、オートエンコーダを統合する三段階プロセスを採用し、計算精度と効率のバランスを確保する。
この結果は、特に欠如が完全にランダムではない複雑なシナリオにおいて、データ分散を保存し、分析的整合性を維持するPAINの優れた能力を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-01-18T06:22:27Z) - PolSAM: Polarimetric Scattering Mechanism Informed Segment Anything Model [76.95536611263356]
PolSARデータは、そのリッチで複雑な特徴のために、ユニークな課題を提示する。
複素数値データ、偏光特性、振幅画像などの既存のデータ表現が広く使われている。
PolSARのほとんどの機能抽出ネットワークは小さく、機能を効果的にキャプチャする能力を制限している。
本稿では,ドメイン固有の散乱特性と新規なプロンプト生成戦略を統合したSegment Anything Model (SAM) であるPolarimetric Scattering Mechanism-Informed SAM (PolSAM)を提案する。
論文 参考訳（メタデータ） (2024-12-17T09:59:53Z) - Going Beyond Feature Similarity: Effective Dataset Distillation based on Class-Aware Conditional Mutual Information [43.44508080585033]
本稿では,データセットのクラス認識複雑性を評価するために,条件付き相互情報(CMI)を導入する。
合成データセットのクラス認識複雑性を制約しながら,蒸留損失を最小限に抑える。
論文 参考訳（メタデータ） (2024-12-13T08:10:47Z) - Uncertainty-Aware Deep Attention Recurrent Neural Network for
Heterogeneous Time Series Imputation [0.25112747242081457]
欠落は多変量時系列においてユビキタスであり、信頼できる下流分析の障害となる。
本稿では、欠落した値とその関連不確かさを共同で推定するDeep Attention Recurrent Imputation (Imputation)を提案する。
実験の結果,実世界のデータセットを用いた多様な計算タスクにおいて,SOTAを上回っていることがわかった。
論文 参考訳（メタデータ） (2024-01-04T13:21:11Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳（メタデータ） (2023-10-18T02:59:57Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-10-11T08:24:50Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。