論文の概要: Continuous Optimization for Feature Selection with Permutation-Invariant Embedding and Policy-Guided Search
- arxiv url: http://arxiv.org/abs/2505.11601v1
- Date: Fri, 16 May 2025 18:08:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:10.731134
- Title: Continuous Optimization for Feature Selection with Permutation-Invariant Embedding and Policy-Guided Search
- Title（参考訳）: 置換不変埋め込みとポリシー誘導探索による特徴選択の連続最適化
- Authors: Rui Liu, Rui Xie, Zijun Yao, Yanjie Fu, Dongjie Wang,
- Abstract要約: 我々は,特徴選択の知識を連続的な埋め込み空間に保存するエンコーダ・デコーダパラダイムを開発した。
埋め込み空間の探索を指導するために,政策に基づく強化学習アプローチも採用している。
- 参考スコア（独自算出の注目度）: 27.29822608207957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feature selection removes redundant features to enhanc performance and computational efficiency in downstream tasks. Existing works often struggle to capture complex feature interactions and adapt to diverse scenarios. Recent advances in this domain have incorporated generative intelligence to address these drawbacks by uncovering intricate relationships between features. However, two key limitations remain: 1) embedding feature subsets in a continuous space is challenging due to permutation sensitivity, as changes in feature order can introduce biases and weaken the embedding learning process; 2) gradient-based search in the embedding space assumes convexity, which is rarely guaranteed, leading to reduced search effectiveness and suboptimal subsets. To address these limitations, we propose a new framework that can: 1) preserve feature subset knowledge in a continuous embedding space while ensuring permutation invariance; 2) effectively explore the embedding space without relying on strong convex assumptions. For the first objective, we develop an encoder-decoder paradigm to preserve feature selection knowledge into a continuous embedding space. This paradigm captures feature interactions through pairwise relationships within the subset, removing the influence of feature order on the embedding. Moreover, an inducing point mechanism is introduced to accelerate pairwise relationship computations. For the second objective, we employ a policy-based reinforcement learning (RL) approach to guide the exploration of the embedding space. The RL agent effectively navigates the space by balancing multiple objectives. By prioritizing high-potential regions adaptively and eliminating the reliance on convexity assumptions, the RL agent effectively reduces the risk of converging to local optima. Extensive experiments demonstrate the effectiveness, efficiency, robustness and explicitness of our model.
- Abstract（参考訳）: 機能選択は、下流タスクのパフォーマンスと計算効率を高めるために冗長な機能を取り除く。
既存の作業は、複雑な機能の相互作用を捉え、さまざまなシナリオに適応するのに苦労することが多い。
この領域の最近の進歩は、特徴間の複雑な関係を明らかにすることによって、これらの欠点に対処するために、生成知能を取り入れている。
しかし、2つの重要な制限が残っている。
1) 連続空間に特徴部分集合を埋め込むことは、特徴順の変化がバイアスを生じさせ、埋め込み学習プロセスを弱めるため、置換感度のため困難である。
2) 埋め込み空間における勾配に基づく探索は凸性を前提としており, 絶対的に保証されないため, 探索効率が低下し, 準最適部分集合が減少する。
これらの制限に対処するため、我々は次のような新しいフレームワークを提案する。
1) 変分不変性を確保しつつ,連続的な埋め込み空間における特徴的部分的知識を維持すること。
2) 強い凸仮定を頼らずに埋め込み空間を効果的に探索する。
最初の目的として,特徴選択の知識を連続的な埋め込み空間に保存するエンコーダ・デコーダパラダイムを開発する。
このパラダイムは、サブセット内のペア関係を通じて機能相互作用をキャプチャし、組み込みに対する機能順序の影響を取り除く。
さらに、ペアワイズ関係計算を高速化するために、誘導点機構を導入する。
第2の目的として,政策に基づく強化学習(RL)アプローチを用いて,埋め込み空間の探索を指導する。
RLエージェントは、複数の目的のバランスをとることにより、空間を効果的にナビゲートする。
高電位領域を適応的に優先順位付けし、凸性仮定への依存をなくすことにより、RLエージェントは局所最適に収束するリスクを効果的に低減する。
大規模な実験は、我々のモデルの有効性、効率、堅牢性、明示性を実証する。
関連論文リスト
- Q-function Decomposition with Intervention Semantics with Factored Action Spaces [51.01244229483353]
元の作用空間の低次元射影部分空間上で定義されるQ-函数を考察し、分解されたQ-函数の不偏性について考察する。
これにより、標準モデルフリー強化学習アルゴリズムにおいて、予測Q関数を用いてQ関数を近似する動作分解強化学習と呼ばれる一般的なスキームが導かれる。
論文 参考訳（メタデータ） (2025-04-30T05:26:51Z) - Knockoff-Guided Feature Selection via A Single Pre-trained Reinforced
Agent [44.84307718534031]
ノックオフ機能によってガイドされる特徴選択のための革新的なフレームワークを導入し、強化学習により最適化する。
探索プロセスの有効性を向上させるために,原特徴とそれに対応する擬似ラベルを事前訓練した深部Qネットワークが用いられている。
新しいepsilon-greedy戦略を使用して、擬似ラベルからの洞察を取り入れて、特徴選択プロセスをより効果的にする。
論文 参考訳（メタデータ） (2024-03-06T19:58:19Z) - SNE-RoadSegV2: Advancing Heterogeneous Feature Fusion and Fallibility Awareness for Freespace Detection [29.348921424716057]
本稿では、全体的注意モジュール、異種特徴コントラスト記述子、親和性重み付き特徴校正器からなる新規な異種特徴融合ブロックを提案する。
スケール内およびスケール内の両方のスキップ接続をデコーダアーキテクチャに組み込むと同時に、冗長な接続を排除し、精度と計算効率を向上させる。
セマンティック・トランジションと深度不整合領域に別々に焦点をあてる2つの誤認認識損失関数を導入し、モデルトレーニングにおけるより深い監督に寄与する。
論文 参考訳（メタデータ） (2024-02-29T07:20:02Z) - Double Duality: Variational Primal-Dual Policy Optimization for
Constrained Reinforcement Learning [132.7040981721302]
本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。
制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
論文 参考訳（メタデータ） (2024-02-16T16:35:18Z) - Feature Interaction Aware Automated Data Representation Transformation [27.26916497306978]
我々は,マルコフ決定過程をカスケードした階層的強化学習構造を開発し,特徴選択と操作選択を自動化する。
我々は、選択された特徴間の相互作用強度に基づいてエージェントに報酬を与える。その結果、人間の意思決定をエミュレートする特徴空間をインテリジェントかつ効率的に探索する。
論文 参考訳（メタデータ） (2023-09-29T06:48:16Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳（メタデータ） (2023-05-17T14:30:11Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-02T16:59:37Z) - Gleo-Det: Deep Convolution Feature-Guided Detector with Local Entropy
Optimization for Salient Points [5.955667705173262]
本稿では, 深い畳み込み特徴のガイダンスを伴い, 繰り返し可能性の要求に基づき, きめ細かな制約を実現することを提案する。
畳み込み特徴のガイダンスを用いて、正と負の両面からコスト関数を定義する。
論文 参考訳（メタデータ） (2022-04-27T12:40:21Z) - Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。
本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。
提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
論文 参考訳（メタデータ） (2021-03-10T16:45:22Z) - Contradictory Structure Learning for Semi-supervised Domain Adaptation [67.89665267469053]
現在の逆順応法は、クロスドメインの特徴を整列させようとする。
1)条件分布ミスマッチ、2)決定境界のソース領域へのバイアス。
本稿では,対向構造の学習を統一することで,半教師付きドメイン適応のための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-06T22:58:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。