論文の概要: Handling Incomplete Heterogeneous Data using a Data-Dependent Kernel

• arxiv url: http://arxiv.org/abs/2501.04300v1
• Date: Wed, 08 Jan 2025 06:18:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:55:29.365364
• Title: Handling Incomplete Heterogeneous Data using a Data-Dependent Kernel
• Title（参考訳）: データ依存カーネルによる不完全不均一データの処理
• Authors: Youran Zhou, Mohamed Reda Bouadjenek, Jonathan Wells, Sunil Aryal,
• Abstract要約: 本稿では、データ依存カーネルであるMass similarity Kernel(PMK)を用いて、欠落値を扱う新しい手法を提案する。 より意味のあるペアワイズ類似性をキャプチャすることで、多様なデータ型の表現を統一する。 分類タスクとクラスタリングタスクの両方で、我々のアプローチは既存のテクニックを一貫して上回りました。
• 参考スコア（独自算出の注目度）: 1.945017258192898
• License:
• Abstract: Handling incomplete data in real-world applications is a critical challenge due to two key limitations of existing methods: (i) they are primarily designed for numeric data and struggle with categorical or heterogeneous/mixed datasets; (ii) they assume that data is missing completely at random, which is often not the case in practice -- in reality, data is missing in patterns, leading to biased results if these patterns are not accounted for. To address these two limitations, this paper presents a novel approach to handling missing values using the Probability Mass Similarity Kernel (PMK), a data-dependent kernel, which does not make any assumptions about data types and missing mechanisms. It eliminates the need for prior knowledge or extensive pre-processing steps and instead leverages the distribution of observed data. Our method unifies the representation of diverse data types by capturing more meaningful pairwise similarities and enhancing downstream performance. We evaluated our approach across over 10 datasets with numerical-only, categorical-only, and mixed features under different missing mechanisms and rates. Across both classification and clustering tasks, our approach consistently outperformed existing techniques, demonstrating its robustness and effectiveness in managing incomplete heterogeneous data.
• Abstract（参考訳）: 現実世界のアプリケーションで不完全なデータを扱うことは、既存の方法に2つの重要な制限があるため、重要な課題である。 (i)主に数値データのために設計され、分類的または異種/混成データセットと競合する。 (ii) データはランダムに完全に欠落していると仮定するが、実際にはそうではないことが多い。 これら2つの制約に対処するため,データ型や欠落機構を仮定しないデータ依存カーネルであるProbability Mass similarity Kernel (PMK) を用いて,欠落値を扱う新しい手法を提案する。 事前知識や広範な事前処理ステップの必要性を排除し、代わりに観測されたデータの分散を活用する。 本手法は,より有意義なペアワイドな類似性を捉え,下流の性能を向上させることによって,多様なデータ型の表現を統一する。 提案手法は10以上のデータセットに対して, 数値のみ, カテゴリーのみ, 混合特徴を異なるメカニズムと速度で評価した。 分類タスクとクラスタリングタスクの両方において,本手法は既存の手法を一貫して上回り,不完全不均一データ管理におけるロバスト性と有効性を示した。

関連論文リスト

• Approaching Metaheuristic Deep Learning Combos for Automated Data Mining [0.5419570023862531]
  本研究では,メタヒューリスティック手法を従来の分類器やニューラルネットワークと組み合わせて自動データマイニングを行う手法を提案する。 手書き文字認識のためのMNISTデータセットの実験を行った。 根拠真理ラベル付きデータセットの検証精度は、これまで見つからなかった他のデータインスタンスのラベルを修正するのに不十分である、という実証的な観察がなされた。
  論文  参考訳（メタデータ） (2024-10-16T10:28:22Z)
• DAGnosis: Localized Identification of Data Inconsistencies using Structures [73.39285449012255]
  機械学習モデルを確実に使用するためには、デプロイメント時のデータの不整合の特定と適切な処理が不可欠である。 我々は,有向非巡回グラフ(DAG)を用いて,トレーニングセットの特徴分布と非依存性を構造として符号化する。 我々の手法はDAGnosisと呼ばれ、これらの構造的相互作用を利用して、価値があり洞察に富んだデータ中心の結論をもたらす。
  論文  参考訳（メタデータ） (2024-02-26T11:29:16Z)
• Binary Quantification and Dataset Shift: An Experimental Investigation [54.14283123210872]
  量子化は教師付き学習タスクであり、未学習データの集合のクラス有病率の予測器を訓練する。 定量化と他のタイプのデータセットシフトの関係は、いまだ大きく、未調査のままである。 本稿では,これらのシフトに影響を受けるデータセットの生成プロトコルを確立することにより,データセットシフトの種類を詳細に分類する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-06T20:11:27Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Leachable Component Clustering [10.377914682543903]
  本研究では,非完全データのクラスタリングに対する新たなアプローチとして,リーチ可能なコンポーネントクラスタリングを提案する。 提案手法はベイズアライメントを用いてデータ計算を処理し,理論上失われたパターンを収集する。 いくつかの人工不完全データセットの実験により、提案手法は、他の最先端アルゴリズムと比較して優れた性能を示すことができることを示した。
  論文  参考訳（メタデータ） (2022-08-28T13:13:17Z)
• MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms [82.90843777097606]
  欠落データに対する因果認識型計算アルゴリズム(MIRACLE)を提案する。 MIRACLEは、欠落発生機構を同時にモデル化することにより、ベースラインの計算を反復的に洗練する。 我々は、MIRACLEが一貫してイミューテーションを改善することができることを示すために、合成および様々な公開データセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2021-11-04T22:38:18Z)
• Greedy structure learning from data that contains systematic missing values [13.088541054366527]
  欠落した値を含むデータから学ぶことは、多くの領域でよくある現象である。 比較的少数のベイジアンネットワーク構造学習アルゴリズムが欠落データの原因となっている。 本稿では,2対の削除と逆確率重み付けを利用したグリージー検索構造学習の3つの変種について述べる。
  論文  参考訳（メタデータ） (2021-07-09T02:56:44Z)
• Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
  異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。 本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。 この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。 本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-11T01:36:08Z)
• Deep Generative Pattern-Set Mixture Models for Nonignorable Missingness [0.0]
  無視できないデータと無視できないデータの両方をモデル化する可変オートエンコーダアーキテクチャを提案する。 モデルでは,観測されたデータと欠落マスクに基づいて,欠落したデータを欠落パターンにクラスタ化することを明示的に学習する。 当社のセットアップでは,無知かつ無知な欠如の特性をトレードオフすることで,両タイプのデータに適用することが可能である。
  論文  参考訳（メタデータ） (2021-03-05T08:21:35Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Clustering and Classification with Non-Existence Attributes: A Sentenced Discrepancy Measure Based Technique [0.0]
  クラスタリングアプローチは、計算や限界化といった技術による事前処理がなければ、そのようなデータに直接適用することはできない。 我々は、AWPD(Attribute Weighted Penalty Based Discrepancy)と呼ばれるセンテンシブ・ディフレナンシ・尺度を用いて、この欠点を克服した。 本手法は,非存在属性を持つデータセットに本手法を直接適用し,非存在属性を最適精度と最小コストで検出する手法を確立する。
  論文  参考訳（メタデータ） (2020-02-24T17:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。