論文の概要: Automatic feature selection and weighting using Differentiable Information Imbalance

• arxiv url: http://arxiv.org/abs/2411.00851v1
• Date: Wed, 30 Oct 2024 11:19:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:49:50.847400
• Title: Automatic feature selection and weighting using Differentiable Information Imbalance
• Title（参考訳）: 微分情報不均衡を用いた特徴の自動選択と重み付け
• Authors: Romina Wild, Vittorio Del Tatto, Felix Wodaczek, Bingqing Cheng, Alessandro Laio,
• Abstract要約: 本稿では,特徴集合間で情報内容のランク付けを行う自動データ解析手法DIIを紹介する。 地上の真理特徴空間における距離に応じて最も近い隣人に基づいて、入力特徴量の低次元部分集合を求める。 識別可能な情報不均衡を損失関数として利用することにより、入力の相対的特徴重みを最適化し、ユニットアライメントと相対的重要スケーリングを同時に行う。
• 参考スコア（独自算出の注目度）: 41.452380773977154
• License:
• Abstract: Feature selection is a common process in many applications, but it is accompanied by uncertainties such as: What is the optimal dimensionality of an interpretable, reduced feature space to retain a maximum amount of information? How to account for different units of measure in features? How to weight different features according to their importance? To address these challenges, we introduce the Differentiable Information Imbalance (DII), an automatic data analysis method to rank information content between sets of features. Based on the nearest neighbors according to distances in the ground truth feature space, the method finds a low-dimensional subset of the input features, within which the pairwise distance relations are most similar to the ground truth. By employing the Differentiable Information Imbalance as a loss function, the relative feature weights of the inputs are optimized, simultaneously performing unit alignment and relative importance scaling, while preserving interpretability. Furthermore, this method can generate sparse solutions and determine the optimal size of the reduced feature space. We illustrate the usefulness of this approach on two prototypical benchmark problems: (1) Identifying a small set of collective variables capable of describing the conformational space of a biomolecule, and (2) selecting a subset of features for training a machine-learning force field. The results highlight the potential of the Differentiable Information Imbalance in addressing feature selection challenges and optimizing dimensionality in various applications. The method is implemented in the Python library DADApy.
• Abstract（参考訳）: 多くのアプリケーションでは特徴選択は一般的なプロセスであるが、次のような不確実性が伴っている: 最大の情報を保持するために解釈可能で縮小された特徴空間の最適次元は何か? 機能における異なる測定単位をどう説明すればよいか? その重要性に応じて、どのように異なる特徴を重み付けするか? これらの課題に対処するために,特徴集合間で情報内容のランク付けを行う自動データ解析手法であるDII(Dariable Information Im Balance)を導入する。 接地真理特徴空間内の距離に応じて近接する近傍に基づき、この手法は入力特徴の低次元部分集合を見つけ、その内、対距離関係は接地真理と最もよく似ている。 識別可能な情報不均衡を損失関数として利用することにより、入力の相対的特徴重みを最適化し、解釈可能性を維持しつつ、ユニットアライメントと相対的重要スケーリングを同時に行う。 さらに、この方法はスパース解を生成し、縮小された特徴空間の最適サイズを決定することができる。 本手法は,(1)生体分子の配座空間を記述可能な小さな集合変数の集合を同定し,(2)機械学習力場を訓練するための特徴のサブセットを選択するという,2つの原型ベンチマーク問題に対して有用性を示す。 その結果,特徴選択問題に対処し,様々なアプリケーションにおける次元を最適化する上で,情報不均衡がもたらす可能性を強調した。 このメソッドはPythonライブラリのDADApyで実装されている。

関連論文リスト

• Nonlinear Feature Aggregation: Two Algorithms driven by Theory [45.3190496371625]
  現実世界の機械学習アプリケーションは、膨大な機能によって特徴付けられ、計算やメモリの問題を引き起こす。 一般集約関数を用いて特徴量の非線形変換を集約する次元還元アルゴリズム(NonLinCFA)を提案する。 また、アルゴリズムを合成および実世界のデータセット上でテストし、回帰および分類タスクを実行し、競合性能を示す。
  論文  参考訳（メタデータ） (2023-06-19T19:57:33Z)
• Selecting Features by their Resilience to the Curse of Dimensionality [0.0]
  実世界のデータセットは、しばしば高次元であり、次元性の呪いによって影響される。 ここでは、異なるサイズのデータサブセットを識別できる特徴を識別する新しい手法について述べる。 実験の結果,提案手法は競争力があり,確立された特徴選択法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-05T14:26:23Z)
• Interpretable Linear Dimensionality Reduction based on Bias-Variance Analysis [45.3190496371625]
  本稿では,特徴の解釈可能性を維持するための基本次元削減手法を提案する。 このように、全ての特徴を考慮し、次元性を減らし、解釈可能性を保持する。
  論文  参考訳（メタデータ） (2023-03-26T14:30:38Z)
• Compactness Score: A Fast Filter Method for Unsupervised Feature Selection [66.84571085643928]
  本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。 提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
  論文  参考訳（メタデータ） (2022-01-31T13:01:37Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Feature Weighted Non-negative Matrix Factorization [92.45013716097753]
  本稿では,FNMF(Feature weighted Non- negative Matrix Factorization)を提案する。 FNMFはその重要性に応じて特徴の重みを適応的に学習する。 提案する最適化アルゴリズムを用いて効率的に解くことができる。
  論文  参考訳（メタデータ） (2021-03-24T21:17:17Z)
• Feature Selection Using Reinforcement Learning [0.0]
  特定の関心の予測因子を特徴付けるために使用できる変数や特徴の空間は指数関数的に増大し続けている。 モデルのバイアスを損なうことなく分散を最小化する最も特徴的な特徴を特定することは、マシンラーニングモデルのトレーニングを成功させる上で非常に重要です。
  論文  参考訳（メタデータ） (2021-01-23T09:24:37Z)
• The role of feature space in atomistic learning [62.997667081978825]
  物理的にインスパイアされた記述子は、原子論シミュレーションへの機械学習技術の応用において重要な役割を果たしている。 異なる記述子のセットを比較するためのフレームワークを導入し、メトリクスとカーネルを使ってそれらを変換するさまざまな方法を紹介します。 原子密度のn-体相関から構築した表現を比較し,低次特徴の利用に伴う情報損失を定量的に評価した。
  論文  参考訳（メタデータ） (2020-09-06T14:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。