論文の概要: Semantic-Preserving Feature Partitioning for Multi-View Ensemble Learning

• arxiv url: http://arxiv.org/abs/2401.06251v1
• Date: Thu, 11 Jan 2024 20:44:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 21:11:13.075049
• Title: Semantic-Preserving Feature Partitioning for Multi-View Ensemble Learning
• Title（参考訳）: マルチビューアンサンブル学習のための意味保存特徴分割
• Authors: Mohammad Sadegh Khorshidi, Navid Yazdanjue, Hassan Gharoun, Danial Yazdani, Mohammad Reza Nikoo, Fang Chen, Amir H. Gandomi
• Abstract要約: 本稿では,情報理論に基づく新しい手法であるセマンティック・保存特徴分割(SPFP)アルゴリズムを紹介する。 SPFPアルゴリズムは、データセットを複数のセマンティックな一貫したビューに効果的に分割し、マルチビューアンサンブル学習プロセスを強化する。 モデル精度を維持しつつ、高い一般化性能が達成可能なシナリオにおける不確実性対策を大幅に改善する。
• 参考スコア（独自算出の注目度）: 11.415864885658435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In machine learning, the exponential growth of data and the associated ``curse of dimensionality'' pose significant challenges, particularly with expansive yet sparse datasets. Addressing these challenges, multi-view ensemble learning (MEL) has emerged as a transformative approach, with feature partitioning (FP) playing a pivotal role in constructing artificial views for MEL. Our study introduces the Semantic-Preserving Feature Partitioning (SPFP) algorithm, a novel method grounded in information theory. The SPFP algorithm effectively partitions datasets into multiple semantically consistent views, enhancing the MEL process. Through extensive experiments on eight real-world datasets, ranging from high-dimensional with limited instances to low-dimensional with high instances, our method demonstrates notable efficacy. It maintains model accuracy while significantly improving uncertainty measures in scenarios where high generalization performance is achievable. Conversely, it retains uncertainty metrics while enhancing accuracy where high generalization accuracy is less attainable. An effect size analysis further reveals that the SPFP algorithm outperforms benchmark models by large effect size and reduces computational demands through effective dimensionality reduction. The substantial effect sizes observed in most experiments underscore the algorithm's significant improvements in model performance.
• Abstract（参考訳）: 機械学習では、データの指数関数的な成長と関連する‘次元の曲線’は、特に拡張的でスパースなデータセットにおいて、大きな課題となる。 これらの課題に対処するため、マルチビューアンサンブル学習(MEL)は、MELのための人工的なビューを構築する上で重要な役割を果たす特徴分割(FP)とともに、変革的なアプローチとして登場した。 本研究では,情報理論に基づく新しい手法であるセマンティック・保存特徴分割法(SPFP)を提案する。 SPFPアルゴリズムは、データセットを複数の意味的に一貫したビューに効果的に分割し、MELプロセスを強化する。 高次元のインスタンスから高次元のインスタンスまで,8つの実世界のデータセットを広範囲に実験した結果,有効性が示された。 モデル精度を維持しつつ、高い一般化性能が達成可能なシナリオにおける不確実性対策を大幅に改善する。 逆に、高い一般化精度が得られない精度を向上しつつ、不確実性指標を保持する。 効果サイズ分析により,SPFPアルゴリズムはベンチマークモデルよりも大きな効果サイズで性能を向上し,有効次元削減による計算要求を低減していることが明らかになった。 ほとんどの実験で観察された実質的な効果の大きさは、アルゴリズムのモデル性能の大幅な改善を基礎としている。

関連論文リスト

• Unveiling the Secrets: How Masking Strategies Shape Time Series Imputation [7.650009336768971]
  時系列計算はデータマイニングにおいて重要な課題であり、特に医療や環境モニタリングのような分野では、欠落したデータが分析結果を損なう可能性がある。 本研究では, 多様なマスキング戦略, 正規化タイミング, 欠落パターンが3つの多様なデータセットにおける11種類の最先端計算モデルの性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2024-05-26T18:05:12Z)
• Exploring the Influence of Dimensionality Reduction on Anomaly Detection Performance in Multivariate Time Series [0.9790236766474201]
  この研究は、MSL、SMAP、SWaTの3つの異なるデータセットにわたる包括的な評価を含んでいる。 調査対象はPCA, UMAP, Random Projection, t-SNEである。 トレーニング時間の顕著な減少が観察され,次元が半減すると約300%,650%の減少がみられた。
  論文  参考訳（メタデータ） (2024-03-07T11:59:00Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Randomized Dimension Reduction with Statistical Guarantees [0.27195102129095]
  この論文は、高速な実行と効率的なデータ利用のためのアルゴリズムをいくつか探求している。 一般化と分散性を向上する様々なデータ拡張を組み込んだ学習アルゴリズムに着目する。 具体的には、第4章では、データ拡張整合正則化のための複雑性分析のサンプルを提示する。
  論文  参考訳（メタデータ） (2023-10-03T02:01:39Z)
• Enhancing Representation Learning on High-Dimensional, Small-Size Tabular Data: A Divide and Conquer Method with Ensembled VAEs [7.923088041693465]
  特徴空間の部分集合の後方部分集合を学習するための軽量なVAEのアンサンブルを, 新規な分割コンカレントアプローチで結合後部分集合に集約する。 このアプローチは推論時に部分的な機能に対して堅牢であることを示し、ほとんどの機能が欠落していても、パフォーマンスの劣化がほとんどないことを示します。
  論文  参考訳（メタデータ） (2023-06-27T17:55:31Z)
• Provably Efficient Representation Learning with Tractable Planning in Low-Rank POMDP [81.00800920928621]
  部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究 まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。 次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:04:03Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• Active Importance Sampling for Variational Objectives Dominated by Rare Events: Consequences for Optimization and Generalization [12.617078020344618]
  本稿では,レアイベントサンプリング手法とニューラルネットワーク最適化を組み合わせて,レアイベントに支配される目的関数を最適化する手法を提案する。 重要度サンプリングは学習問題に対する解の分散を減少させ,一般化の利点を示唆することを示す。 数値実験により,高次元データと希少データの複合化が困難である場合でも,学習を成功させることができた。
  論文  参考訳（メタデータ） (2020-08-11T23:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。