論文の概要: Learning to Maximize Mutual Information for Dynamic Feature Selection

• arxiv url: http://arxiv.org/abs/2301.00557v2
• Date: Thu, 8 Jun 2023 07:32:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 20:01:46.220343
• Title: Learning to Maximize Mutual Information for Dynamic Feature Selection
• Title（参考訳）: 動的特徴選択のための相互情報の最大化学習
• Authors: Ian Covert, Wei Qiu, Mingyu Lu, Nayoon Kim, Nathan White, Su-In Lee
• Abstract要約: 本稿では,現在利用可能な情報に基づいてモデルを逐次クエリする動的特徴選択(DFS)問題を考察する。 条件付き相互情報に基づいて,特徴を欲求的に選択する,よりシンプルなアプローチについて検討する。 提案手法は,最適性を訓練した際の欲求を回復し,既存の特徴選択法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 13.821253491768168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature selection helps reduce data acquisition costs in ML, but the standard approach is to train models with static feature subsets. Here, we consider the dynamic feature selection (DFS) problem where a model sequentially queries features based on the presently available information. DFS is often addressed with reinforcement learning, but we explore a simpler approach of greedily selecting features based on their conditional mutual information. This method is theoretically appealing but requires oracle access to the data distribution, so we develop a learning approach based on amortized optimization. The proposed method is shown to recover the greedy policy when trained to optimality, and it outperforms numerous existing feature selection methods in our experiments, thus validating it as a simple but powerful approach for this problem.
• Abstract（参考訳）: 機能選択はMLのデータ取得コストを削減するのに役立つが、標準的なアプローチは静的な機能サブセットでモデルをトレーニングすることだ。 本稿では,現在利用可能な情報に基づいてモデルを逐次クエリする動的特徴選択(DFS)問題を考察する。 DFSは、しばしば強化学習によって対処されるが、条件付き相互情報に基づいて、より単純な特徴選択のアプローチを探求する。 本手法は理論的に魅力的であるが,データ分布へのオラクルアクセスを必要とするため,償却最適化に基づく学習手法を開発する。 提案手法は, 最適性に訓練された際の欲望ポリシーを回復することを示し, 実験で既存の特徴選択法を上回り, この問題に対する単純かつ強力なアプローチとして検証した。

関連論文リスト

• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• Estimating Conditional Mutual Information for Dynamic Feature Selection [14.706269510726356]
  動的な特徴選択は、機能獲得コストを削減し、モデルの予測に透明性を提供する、有望なパラダイムである。 ここでは、情報理論の観点から、応答変数との相互情報に基づいて特徴を優先順位付けする。 提案手法は, 様々なデータセットにわたる最近の手法に対して一貫した利得を提供する。
  論文  参考訳（メタデータ） (2023-06-05T23:03:03Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Greedy Modality Selection via Approximate Submodular Maximization [19.22947539760366]
  マルチモーダル学習は、異質な情報ソースを融合することを目的としたマルチモーダルデータからの学習を検討する。 メモリ制約のため、利用可能なすべてのモダリティを活用することが常に可能であるとは限らない。 本研究では,ある計算制約の下で最も情報的かつ補完的なモダリティを効率的に選択することを目的としたモダリティ選択について検討する。
  論文  参考訳（メタデータ） (2022-10-22T22:07:27Z)
• SHiFT: An Efficient, Flexible Search Engine for Transfer Learning [16.289623977712086]
  トランスファーラーニングは、スクラッチからトレーニングモデルのデータと計算効率の代替品と見なすことができる。 本稿では,トランスファー学習のための第1のダウンストリームタスク認識,フレキシブル,効率的なモデル検索エンジンであるSHiFTを提案する。
  論文  参考訳（メタデータ） (2022-04-04T13:16:46Z)
• Practical Active Learning with Model Selection for Small Data [13.128648437690224]
  モデル選択を用いた実践的能動的学習のための簡易かつ高速な手法を開発した。 本手法は,ラジアル基底関数カーネルを用いたサポートベクトル分類を用いて,二元分類のためのプールベースアクティブラーナに基づく。
  論文  参考訳（メタデータ） (2021-12-21T23:11:27Z)
• Auto-weighted Multi-view Feature Selection with Graph Optimization [90.26124046530319]
  グラフ学習に基づく新しい教師なしマルチビュー特徴選択モデルを提案する。 1) 特徴選択過程において, 異なる視点で共有されたコンセンサス類似度グラフが学習される。 各種データセットを用いた実験により,提案手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-11T03:25:25Z)
• Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection [6.41804410246642]
  本稿では,共同適応グラフと構造付き空間正規化unsupervised feature selection (JASFS)法を提案する。 最適な機能のサブセットがグループで選択され、選択された機能の数が自動的に決定される。 8つのベンチマーク実験の結果,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2020-10-09T08:17:04Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。