論文の概要: A Rigorous Information-Theoretic Definition of Redundancy and Relevancy in Feature Selection Based on (Partial) Information Decomposition

• arxiv url: http://arxiv.org/abs/2105.04187v1
• Date: Mon, 10 May 2021 08:33:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 14:24:08.368443
• Title: A Rigorous Information-Theoretic Definition of Redundancy and Relevancy in Feature Selection Based on (Partial) Information Decomposition
• Title（参考訳）: 情報分解に基づく特徴選択における冗長性と関連性の厳密な情報理論的定義
• Authors: Patricia Wollstadt and Sebastian Schmitt and Michael Wibral
• Abstract要約: 我々は、情報理論は、変数の集合が対象に関する情報を一意で冗長で相乗的な貢献に分解する手段を提供していないと主張する。 部分情報分解(PID)を使用して、PID用語で特徴関連性と冗長性の新しい定義を提供します。 実用的特徴選択のための反復的CMIに基づくアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.06445605125467574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selecting a minimal feature set that is maximally informative about a target variable is a central task in machine learning and statistics. Information theory provides a powerful framework for formulating feature selection algorithms -- yet, a rigorous, information-theoretic definition of feature relevancy, which accounts for feature interactions such as redundant and synergistic contributions, is still missing. We argue that this lack is inherent to classical information theory which does not provide measures to decompose the information a set of variables provides about a target into unique, redundant, and synergistic contributions. Such a decomposition has been introduced only recently by the partial information decomposition (PID) framework. Using PID, we clarify why feature selection is a conceptually difficult problem when approached using information theory and provide a novel definition of feature relevancy and redundancy in PID terms. From this definition, we show that the conditional mutual information (CMI) maximizes relevancy while minimizing redundancy and propose an iterative, CMI-based algorithm for practical feature selection. We demonstrate the power of our CMI-based algorithm in comparison to the unconditional mutual information on benchmark examples and provide corresponding PID estimates to highlight how PID allows to quantify information contribution of features and their interactions in feature-selection problems.
• Abstract（参考訳）: ターゲット変数について最大限に情報を提供する最小の機能セットを選択することは、機械学習と統計の中心的なタスクである。 情報理論は、機能選択アルゴリズムを定式化する強力なフレームワークを提供するが、冗長や相乗的コントリビュートなどの機能インタラクションを考慮した、厳密で情報理論的な機能関連の定義は、いまだ欠落している。 この欠如は古典的な情報理論に固有のものであり、変数の集合が対象に関する情報をユニークで冗長でシナジスティックな貢献に分解する手段を提供していない。 このような分解は、最近になって部分情報分解(PID)フレームワークによってのみ導入された。 PIDを用いて情報理論を用いた場合,特徴選択が概念的に難しい問題である理由を明らかにし,PID用語における特徴の関連性と冗長性の新たな定義を提供する。 この定義から,条件付き相互情報(CMI)は冗長性を最小化しながら関連性を最大化し,実用的な特徴選択のための反復的CMIベースのアルゴリズムを提案する。 我々は,CMIに基づくアルゴリズムのパワーを,ベンチマーク例における無条件の相互情報と比較し,PIDが特徴と特徴選択問題における相互作用の情報提供を定量化できることを示す。

関連論文リスト

• On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games [65.268245109828]
  情報構造の明示的表現は、強化学習問題を解析・解決する重要な要素であると主張する。 これにより、シーケンシャルな意思決定問題のよりリッチな分析が可能となり、より適切なアルゴリズム設計が可能となる。
  論文  参考訳（メタデータ） (2024-03-01T21:28:19Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Learning Cross-modality Information Bottleneck Representation for Heterogeneous Person Re-Identification [61.49219876388174]
  Visible-Infrared person re-identification (VI-ReID)は、インテリジェントビデオ監視において重要かつ困難な課題である。 既存の手法は主に共有特徴空間の学習に重点を置いており、可視光と赤外光の相違を減らす。 本稿では,新しい相互情報・モダリティコンセンサスネットワーク,すなわちCMInfoNetを提案し,モダリティ不変な同一性の特徴を抽出する。
  論文  参考訳（メタデータ） (2023-08-29T06:55:42Z)
• An Algorithm and Complexity Results for Causal Unit Selection [16.307996243413967]
  単位選択問題は、刺激を受ける際に望ましい振る舞いを示す可能性が最も高い、単位と呼ばれる物体を特定することを目的としている。 本稿では,幅広い因果的目的関数のクラスと完全に定義された構造因果的モデルに与えられた最適単位を求めるための,最初の正確なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-28T08:46:51Z)
• Interpretability with full complexity by constraining feature information [1.52292571922932]
  解釈可能性(Interpretability)は、機械学習の課題だ。 我々は、新しい角度から解釈可能性にアプローチする:モデルの複雑さを制限することなく、特徴に関する情報を制約する。 近似モデルのスペクトルから洞察を抽出する枠組みを開発する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:01Z)
• Unsupervised Features Ranking via Coalitional Game Theory for Categorical Data [0.28675177318965034]
  教師なしの機能選択は、機能の数を減らすことを目的としている。 導出特徴の選択は、冗長率を下げる競合する手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-17T14:17:36Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)
• Multi-Granularity Reference-Aided Attentive Feature Aggregation for Video-based Person Re-identification [98.7585431239291]
  ビデオベースの人物再識別は、同じ人物をビデオクリップ間でマッチングすることを目的としている。 本稿では,マルチグラニュラリティ参照属性集約モジュールMG-RAFAを提案する。 本フレームワークは,3つのベンチマークデータセット上での最先端のアブレーション性能を実現する。
  論文  参考訳（メタデータ） (2020-03-27T03:49:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。