論文の概要: Interactive Reinforcement Learning for Feature Selection with Decision Tree in the Loop

• arxiv url: http://arxiv.org/abs/2010.02506v1
• Date: Fri, 2 Oct 2020 18:09:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 00:58:18.104647
• Title: Interactive Reinforcement Learning for Feature Selection with Decision Tree in the Loop
• Title（参考訳）: ループ内決定木を用いた特徴選択のための相互強化学習
• Authors: Wei Fan, Kunpeng Liu, Hao Liu, Yong Ge, Hui Xiong, Yanjie Fu
• Abstract要約: 自動特徴選択における効率と効率のバランスの問題について検討する。 対話型強化学習(IRL)と決定木フィードバック(DTF)を同時にモデル化する対話型閉ループアーキテクチャを提案する。 実世界のデータセットに関する広範な実験を行い,その性能改善について述べる。
• 参考スコア（独自算出の注目度）: 41.66297299506421
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of balancing effectiveness and efficiency in automated feature selection. After exploring many feature selection methods, we observe a computational dilemma: 1) traditional feature selection is mostly efficient, but difficult to identify the best subset; 2) the emerging reinforced feature selection automatically navigates to the best subset, but is usually inefficient. Can we bridge the gap between effectiveness and efficiency under automation? Motivated by this dilemma, we aim to develop a novel feature space navigation method. In our preliminary work, we leveraged interactive reinforcement learning to accelerate feature selection by external trainer-agent interaction. In this journal version, we propose a novel interactive and closed-loop architecture to simultaneously model interactive reinforcement learning (IRL) and decision tree feedback (DTF). Specifically, IRL is to create an interactive feature selection loop and DTF is to feed structured feature knowledge back to the loop. First, the tree-structured feature hierarchy from decision tree is leveraged to improve state representation. In particular, we represent the selected feature subset as an undirected graph of feature-feature correlations and a directed tree of decision features. We propose a new embedding method capable of empowering graph convolutional network to jointly learn state representation from both the graph and the tree. Second, the tree-structured feature hierarchy is exploited to develop a new reward scheme. In particular, we personalize reward assignment of agents based on decision tree feature importance. In addition, observing agents' actions can be feedback, we devise another reward scheme, to weigh and assign reward based on the feature selected frequency ratio in historical action records. Finally, we present extensive experiments on real-world datasets to show the improved performance.
• Abstract（参考訳）: 自動特徴選択における効率と効率のバランスの問題について検討する。 多くの特徴選択法を探索した後、計算ジレンマを観測する。 1) 従来の特徴選択は主に効率的であるが、最適なサブセットを特定することは困難である。 2) 強化された機能選択は自動的に最高のサブセットにナビゲートするが、通常は非効率である。 自動化によって有効性と効率のギャップを埋めることができるか? このジレンマに動機づけられた我々は,新しい空間ナビゲーション手法の開発を目指している。 予備研究では,対話型強化学習を活用し,外部トレーナー・エージェントインタラクションによる特徴選択を高速化した。 本稿では,対話型強化学習(IRL)と決定木フィードバック(DTF)を同時にモデル化する対話型閉ループアーキテクチャを提案する。 具体的には、IRLはインタラクティブな特徴選択ループを作成し、DTFは構造化された特徴知識をループにフィードバックする。 まず、決定木からの木構造的特徴階層を利用して状態表現を改善する。 特に,選択した特徴部分集合を特徴-特徴相関の無向グラフと決定特徴の有向木として表現する。 本稿では,グラフ畳み込みネットワークにグラフと木から状態表現を協調的に学習させる新しい埋め込み手法を提案する。 第2に、木構造の特徴階層を利用して、新しい報酬スキームを開発する。 特に,決定木の特徴的重要度に基づくエージェントの報酬割り当てをパーソナライズする。 また, エージェントの行動観察はフィードバックであり, 過去の行動記録における特徴選択頻度比に基づいて報酬を評価・割り当てする別の報奨スキームを考案する。 最後に,実世界のデータセットに関する広範な実験を行い,性能の向上を示す。

関連論文リスト

• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Neuro-Symbolic Embedding for Short and Effective Feature Selection via Autoregressive Generation [22.87577374767465]
  ニューロシンボリックレンズを用いて特徴選択を再構成し、短時間かつ効果的な特徴サブセットを特定することを目的とした新しい生成フレームワークを導入する。 本稿ではまず,特徴IDトークン,モデル性能,特徴サブセットの冗長度測定などからなる多数の特徴選択サンプルを自動的に収集するデータ収集手法を提案する。 収集したデータに基づいて,効率的な探索のために,特徴選択の知性を連続的な埋め込み空間に保存するエンコーダ・デコーダ・評価学習パラダイムを開発した。
  論文  参考訳（メタデータ） (2024-04-26T05:01:08Z)
• TreeDQN: Learning to minimize Branch-and-Bound tree [78.52895577861327]
  Branch-and-Boundは、Mixed Linear Programsという形で最適化タスクを解決するための便利なアプローチである。 解法の効率は、分割する変数を選択するのに使用される分岐に依存する。 分岐を効率的に学習できる強化学習法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T14:01:26Z)
• Unboxing Tree Ensembles for interpretability: a hierarchical visualization tool and a multivariate optimal re-built tree [0.34530027457862006]
  我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。 提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
  論文  参考訳（メタデータ） (2023-02-15T10:43:31Z)
• Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction [97.99938802797377]
  クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。 近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。 そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T03:28:15Z)
• Deep Reinforcement Learning of Graph Matching [63.469961545293756]
  ノードとペアの制約下でのグラフマッチング(GM)は、最適化からコンピュータビジョンまでの領域におけるビルディングブロックである。 GMのための強化学習ソルバを提案する。 rgmはペアワイズグラフ間のノード対応を求める。 本手法は,フロントエンドの特徴抽出と親和性関数学習に焦点をあてるという意味において,従来のディープグラフマッチングモデルと異なる。
  論文  参考訳（メタデータ） (2020-12-16T13:48:48Z)
• AutoFS: Automated Feature Selection via Diversity-aware Interactive Reinforcement Learning [34.33231470225591]
  自動特徴選択における効率と効率のバランスの問題について検討する。 このような計算ジレンマに動機づけられた本研究は,新しい特徴空間ナビゲーション手法を開発することを目的とする。
  論文  参考訳（メタデータ） (2020-08-27T09:11:30Z)
• FIVES: Feature Interaction Via Edge Search for Large-Scale Tabular Data [106.76845921324704]
  本稿では,FIVES (Feature Interaction Via Edge Search) という新しい手法を提案する。 FIVESは、定義された特徴グラフ上のエッジを探すために、インタラクティブな特徴生成のタスクを定式化する。 本稿では,対話的特徴の探索を動機づける理論的証拠を提示する。
  論文  参考訳（メタデータ） (2020-07-29T03:33:18Z)
• FREEtree: A Tree-based Approach for High Dimensional Longitudinal Data With Correlated Features [2.00191482700544]
  FREEtreeは高次元長手データと相関する特徴を持つ木に基づく手法である。 重み付き相関ネットワーク分析を用いて、まずそれらをクラスタリングすることで、特徴のネットワーク構造を利用する。 次に、各機能のクラスタ内でスクリーニングステップを実行し、残る機能の中から選択ステップを実行します。
  論文  参考訳（メタデータ） (2020-06-17T07:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。