論文の概要: Traceable Group-Wise Self-Optimizing Feature Transformation Learning: A
Dual Optimization Perspective
- arxiv url: http://arxiv.org/abs/2306.16893v1
- Date: Thu, 29 Jun 2023 12:29:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 13:38:58.738296
- Title: Traceable Group-Wise Self-Optimizing Feature Transformation Learning: A
Dual Optimization Perspective
- Title（参考訳）: トレーサブルなグループワイズ自己最適化型特徴変換学習--双対最適化の視点から
- Authors: Meng Xiao, Dongjie Wang, Min Wu, Kunpeng Liu, Hui Xiong, Yuanchun
Zhou, Yanjie Fu
- Abstract要約: 特徴変換は、既存の特徴を数学的に洗練することにより、効果的な表現空間を再構築することを目的としている。
既存の研究は主にドメイン知識に基づく特徴工学や学習潜在表現に重点を置いている。
最初の作業は、新しい自己最適化フレームワークを導入することで、この課題への先駆的な一歩を踏み出したのです。
- 参考スコア（独自算出の注目度）: 33.45878576396101
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature transformation aims to reconstruct an effective representation space
by mathematically refining the existing features. It serves as a pivotal
approach to combat the curse of dimensionality, enhance model generalization,
mitigate data sparsity, and extend the applicability of classical models.
Existing research predominantly focuses on domain knowledge-based feature
engineering or learning latent representations. However, these methods, while
insightful, lack full automation and fail to yield a traceable and optimal
representation space. An indispensable question arises: Can we concurrently
address these limitations when reconstructing a feature space for a
machine-learning task? Our initial work took a pioneering step towards this
challenge by introducing a novel self-optimizing framework. This framework
leverages the power of three cascading reinforced agents to automatically
select candidate features and operations for generating improved feature
transformation combinations. Despite the impressive strides made, there was
room for enhancing its effectiveness and generalization capability. In this
extended journal version, we advance our initial work from two distinct yet
interconnected perspectives: 1) We propose a refinement of the original
framework, which integrates a graph-based state representation method to
capture the feature interactions more effectively and develop different
Q-learning strategies to alleviate Q-value overestimation further. 2) We
utilize a new optimization technique (actor-critic) to train the entire
self-optimizing framework in order to accelerate the model convergence and
improve the feature transformation performance. Finally, to validate the
improved effectiveness and generalization capability of our framework, we
perform extensive experiments and conduct comprehensive analyses.
- Abstract（参考訳）: 機能変換は、既存の特徴を数学的に精錬することで、効果的な表現空間を再構築することを目的としている。
これは次元の呪いと戦うための重要なアプローチとして機能し、モデルの一般化を強化し、データの分散を緩和し、古典的なモデルの適用性を拡張する。
既存の研究は主にドメイン知識に基づく特徴工学や学習潜在表現に焦点を当てている。
しかし、これらの手法は洞察に富むが、完全な自動化がなく、トレース可能で最適な表現空間を得られない。
機械学習タスクの機能空間を再構築する場合、これらの制限に同時に対処できるだろうか?
最初の作業は、新しい自己最適化フレームワークを導入することで、この課題への先駆的な一歩を踏み出した。
このフレームワークは、3つのカスケード強化エージェントの力を利用して、改善された特徴変換の組み合わせを生成するための候補特徴と操作を自動的に選択する。
印象的な進歩にもかかわらず、その効果と一般化能力を高める余地があった。
この拡張ジャーナルバージョンでは、最初の作業は2つの異なるが相互に結びついた視点から進めます。
1) 特徴的相互作用をより効果的に捉えるためにグラフベースの状態表現手法を統合し,q値の過大評価を緩和するための異なるq学習戦略を展開する原フレームワークの改良を提案する。
2) モデル収束を加速し, 特徴変換性能を向上させるために, 自己最適化フレームワーク全体を訓練するために, 新たな最適化手法(アクタクリティカル)を利用する。
最後に,本フレームワークの有効性と一般化能力を検証するため,広範な実験を行い,包括的な分析を行う。
関連論文リスト
- Reinforcement Feature Transformation for Polymer Property Performance Prediction [22.87577374767465]
既存の機械学習モデルは、低品質のポリマーデータセットによるポリマー表現を効果的に学習する際の課題に直面している。
本研究は, 最適かつ説明可能な記述子表現空間を再構築することにより, 高分子特性性能予測タスクの改善に焦点をあてる。
論文 参考訳（メタデータ） (2024-09-23T23:42:18Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z) - Enhancing Tabular Data Optimization with a Flexible Graph-based Reinforced Exploration Strategy [16.782884097690882]
自動機能変換の現在のフレームワークは、反復的なシーケンス生成タスクに依存している。
3つのカスケーディングエージェントが繰り返しノードを選択し、新しい変換状態を生成する数学的操作を考えます。
この戦略はグラフ構造の性質を活用し、価値ある変換の保存と再利用を可能にする。
論文 参考訳（メタデータ） (2024-06-11T16:10:37Z) - Feature Interaction Aware Automated Data Representation Transformation [27.26916497306978]
我々は,マルコフ決定過程をカスケードした階層的強化学習構造を開発し,特徴選択と操作選択を自動化する。
我々は、選択された特徴間の相互作用強度に基づいてエージェントに報酬を与える。その結果、人間の意思決定をエミュレートする特徴空間をインテリジェントかつ効率的に探索する。
論文 参考訳（メタデータ） (2023-09-29T06:48:16Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - Self-Optimizing Feature Transformation [33.458785763961004]
特徴変換は、既存の特徴を数学的に変換することで、優れた表現(特徴)空間を抽出することを目的としている。
現在の研究は、ドメイン知識に基づく特徴工学や学習潜在表現に焦点を当てている。
特徴変換のための自己最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-16T16:50:41Z) - Group-wise Reinforcement Feature Generation for Optimal and Explainable
Representation Space Reconstruction [25.604176830832586]
我々は表現空間の再構成をネストした特徴生成と選択の対話的なプロセスに再構成する。
我々は、機能群、操作群、および他の機能群を横断して新機能を生成するグループワイズ生成戦略を設計する。
システムの有効性, 効率, トレーサビリティ, 明示性を実証するための広範な実験を行った。
論文 参考訳（メタデータ） (2022-05-28T21:34:14Z) - Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline
Reinforcement Learning [114.36124979578896]
オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。
我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
論文 参考訳（メタデータ） (2022-05-05T05:44:26Z) - Learning Rich Nearest Neighbor Representations from Self-supervised
Ensembles [60.97922557957857]
推論時間における勾配降下から直接表現を学習する新しい手法により、自己教師付きモデルアンサンブルを行うためのフレームワークを提供する。
この技術は、ドメイン内のデータセットと転送設定の両方において、k-nearestの隣人によって測定されるように、表現品質を改善する。
論文 参考訳（メタデータ） (2021-10-19T22:24:57Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳（メタデータ） (2020-12-10T03:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。