論文の概要: Traceable Group-Wise Self-Optimizing Feature Transformation Learning: A
Dual Optimization Perspective
- arxiv url: http://arxiv.org/abs/2306.16893v1
- Date: Thu, 29 Jun 2023 12:29:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 13:38:58.738296
- Title: Traceable Group-Wise Self-Optimizing Feature Transformation Learning: A
Dual Optimization Perspective
- Title(参考訳): トレーサブルなグループワイズ自己最適化型特徴変換学習--双対最適化の視点から
- Authors: Meng Xiao, Dongjie Wang, Min Wu, Kunpeng Liu, Hui Xiong, Yuanchun
Zhou, Yanjie Fu
- Abstract要約: 特徴変換は、既存の特徴を数学的に洗練することにより、効果的な表現空間を再構築することを目的としている。
既存の研究は主にドメイン知識に基づく特徴工学や学習潜在表現に重点を置いている。
最初の作業は、新しい自己最適化フレームワークを導入することで、この課題への先駆的な一歩を踏み出したのです。
- 参考スコア(独自算出の注目度): 33.45878576396101
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature transformation aims to reconstruct an effective representation space
by mathematically refining the existing features. It serves as a pivotal
approach to combat the curse of dimensionality, enhance model generalization,
mitigate data sparsity, and extend the applicability of classical models.
Existing research predominantly focuses on domain knowledge-based feature
engineering or learning latent representations. However, these methods, while
insightful, lack full automation and fail to yield a traceable and optimal
representation space. An indispensable question arises: Can we concurrently
address these limitations when reconstructing a feature space for a
machine-learning task? Our initial work took a pioneering step towards this
challenge by introducing a novel self-optimizing framework. This framework
leverages the power of three cascading reinforced agents to automatically
select candidate features and operations for generating improved feature
transformation combinations. Despite the impressive strides made, there was
room for enhancing its effectiveness and generalization capability. In this
extended journal version, we advance our initial work from two distinct yet
interconnected perspectives: 1) We propose a refinement of the original
framework, which integrates a graph-based state representation method to
capture the feature interactions more effectively and develop different
Q-learning strategies to alleviate Q-value overestimation further. 2) We
utilize a new optimization technique (actor-critic) to train the entire
self-optimizing framework in order to accelerate the model convergence and
improve the feature transformation performance. Finally, to validate the
improved effectiveness and generalization capability of our framework, we
perform extensive experiments and conduct comprehensive analyses.
- Abstract(参考訳): 機能変換は、既存の特徴を数学的に精錬することで、効果的な表現空間を再構築することを目的としている。
これは次元の呪いと戦うための重要なアプローチとして機能し、モデルの一般化を強化し、データの分散を緩和し、古典的なモデルの適用性を拡張する。
既存の研究は主にドメイン知識に基づく特徴工学や学習潜在表現に焦点を当てている。
しかし、これらの手法は洞察に富むが、完全な自動化がなく、トレース可能で最適な表現空間を得られない。
機械学習タスクの機能空間を再構築する場合、これらの制限に同時に対処できるだろうか?
最初の作業は、新しい自己最適化フレームワークを導入することで、この課題への先駆的な一歩を踏み出した。
このフレームワークは、3つのカスケード強化エージェントの力を利用して、改善された特徴変換の組み合わせを生成するための候補特徴と操作を自動的に選択する。
印象的な進歩にもかかわらず、その効果と一般化能力を高める余地があった。
この拡張ジャーナルバージョンでは、最初の作業は2つの異なるが相互に結びついた視点から進めます。
1) 特徴的相互作用をより効果的に捉えるためにグラフベースの状態表現手法を統合し,q値の過大評価を緩和するための異なるq学習戦略を展開する原フレームワークの改良を提案する。
2) モデル収束を加速し, 特徴変換性能を向上させるために, 自己最適化フレームワーク全体を訓練するために, 新たな最適化手法(アクタクリティカル)を利用する。
最後に,本フレームワークの有効性と一般化能力を検証するため,広範な実験を行い,包括的な分析を行う。
関連論文リスト
- From Function to Distribution Modeling: A PAC-Generative Approach to
Offline Optimization [30.689032197123755]
本稿では、オフラインデータ例の集合を除いて目的関数が不明なオフライン最適化の問題について考察する。
未知の目的関数を学習して最適化するのではなく、より直感的で直接的な視点で、最適化は生成モデルからサンプリングするプロセスと考えることができる。
論文 参考訳(メタデータ) (2024-01-04T01:32:50Z) - Human as Points: Explicit Point-based 3D Human Reconstruction from
Single-view RGB Images [78.56114271538061]
我々はHaPと呼ばれる明示的なポイントベース人間再構築フレームワークを導入する。
提案手法は,3次元幾何学空間における完全明示的な点雲推定,操作,生成,洗練が特徴である。
我々の結果は、完全に明示的で幾何学中心のアルゴリズム設計へのパラダイムのロールバックを示すかもしれない。
論文 参考訳(メタデータ) (2023-11-06T05:52:29Z) - Feature Interaction Aware Automated Data Representation Transformation [27.26916497306978]
我々は,マルコフ決定過程をカスケードした階層的強化学習構造を開発し,特徴選択と操作選択を自動化する。
我々は、選択された特徴間の相互作用強度に基づいてエージェントに報酬を与える。その結果、人間の意思決定をエミュレートする特徴空間をインテリジェントかつ効率的に探索する。
論文 参考訳(メタデータ) (2023-09-29T06:48:16Z) - VS-TransGRU: A Novel Transformer-GRU-based Framework Enhanced by
Visual-Semantic Fusion for Egocentric Action Anticipation [33.41226268323332]
エゴセントリックなアクション予測は、一人称視点で将来のアクションを先進的に予測することを目的とした課題である。
既存のほとんどの手法は、視覚入力とリカレントニューラルネットワークに基づくモデルアーキテクチャと損失関数の改善に重点を置いている。
本稿では,新しいビジュアル・セマンティック融合とトランスフォーマーGRUに基づくアクション予測フレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-08T06:49:54Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳(メタデータ) (2023-05-25T10:58:46Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - Self-Optimizing Feature Transformation [33.458785763961004]
特徴変換は、既存の特徴を数学的に変換することで、優れた表現(特徴)空間を抽出することを目的としている。
現在の研究は、ドメイン知識に基づく特徴工学や学習潜在表現に焦点を当てている。
特徴変換のための自己最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-16T16:50:41Z) - Group-wise Reinforcement Feature Generation for Optimal and Explainable
Representation Space Reconstruction [25.604176830832586]
我々は表現空間の再構成をネストした特徴生成と選択の対話的なプロセスに再構成する。
我々は、機能群、操作群、および他の機能群を横断して新機能を生成するグループワイズ生成戦略を設計する。
システムの有効性, 効率, トレーサビリティ, 明示性を実証するための広範な実験を行った。
論文 参考訳(メタデータ) (2022-05-28T21:34:14Z) - Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline
Reinforcement Learning [114.36124979578896]
オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。
我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
論文 参考訳(メタデータ) (2022-05-05T05:44:26Z) - Learning Rich Nearest Neighbor Representations from Self-supervised
Ensembles [60.97922557957857]
推論時間における勾配降下から直接表現を学習する新しい手法により、自己教師付きモデルアンサンブルを行うためのフレームワークを提供する。
この技術は、ドメイン内のデータセットと転送設定の両方において、k-nearestの隣人によって測定されるように、表現品質を改善する。
論文 参考訳(メタデータ) (2021-10-19T22:24:57Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳(メタデータ) (2020-12-10T03:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。