論文の概要: Iterative Feature Space Optimization through Incremental Adaptive Evaluation
- arxiv url: http://arxiv.org/abs/2501.14889v1
- Date: Fri, 24 Jan 2025 19:24:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:55:41.121317
- Title: Iterative Feature Space Optimization through Incremental Adaptive Evaluation
- Title（参考訳）: インクリメンタル適応評価による反復的特徴空間最適化
- Authors: Yanping Wu, Yanyong Huang, Zhengzhang Chen, Zijun Yao, Yanjie Fu, Kunpeng Liu, Xiao Luo, Dongjie Wang,
- Abstract要約: 反復的特徴空間最適化は、下流タスクのパフォーマンスを改善するために、機能空間を体系的に評価し、調整する。
現存する作品には3つの限界がある。
データサンプルの違いを見渡すと 評価バイアスが発生します
特定の機械学習モデルに特徴空間を合わせると、過度に適合し、一般化が不十分になる。
本稿では, 最適かつ一般化された特徴空間を効率よく生成する, gEneralized Adaptive Feature Space Evaluatorを提案する。
- 参考スコア（独自算出の注目度）: 30.404285897464256
- License:
- Abstract: Iterative feature space optimization involves systematically evaluating and adjusting the feature space to improve downstream task performance. However, existing works suffer from three key limitations:1) overlooking differences among data samples leads to evaluation bias; 2) tailoring feature spaces to specific machine learning models results in overfitting and poor generalization; 3) requiring the evaluator to be retrained from scratch during each optimization iteration significantly reduces the overall efficiency of the optimization process. To bridge these gaps, we propose a gEneralized Adaptive feature Space Evaluator (EASE) to efficiently produce optimal and generalized feature spaces. This framework consists of two key components: Feature-Sample Subspace Generator and Contextual Attention Evaluator. The first component aims to decouple the information distribution within the feature space to mitigate evaluation bias. To achieve this, we first identify features most relevant to prediction tasks and samples most challenging for evaluation based on feedback from the subsequent evaluator. This decoupling strategy makes the evaluator consistently target the most challenging aspects of the feature space. The second component intends to incrementally capture evolving patterns of the feature space for efficient evaluation. We propose a weighted-sharing multi-head attention mechanism to encode key characteristics of the feature space into an embedding vector for evaluation. Moreover, the evaluator is updated incrementally, retaining prior evaluation knowledge while incorporating new insights, as consecutive feature spaces during the optimization process share partial information. Extensive experiments on fourteen real-world datasets demonstrate the effectiveness of the proposed framework. Our code and data are publicly available.
- Abstract（参考訳）: 反復的特徴空間最適化は、下流タスクのパフォーマンスを改善するために、機能空間を体系的に評価し、調整する。
しかし、既存の作業には3つの重要な制限がある。1) データサンプルの違いを見渡すと、評価バイアスが発生する。
2)特定の機械学習モデルに特徴空間を合わせると、過度に適合し、一般化が不十分になる。
3) 各最適化イテレーション中にスクラッチから評価器を再訓練する必要があると、最適化プロセス全体の効率が大幅に低下する。
これらのギャップを埋めるために、最適かつ一般化された特徴空間を効率よく生成するgEneralized Adaptive Feature Space Evaluator (EASE)を提案する。
このフレームワークは、Feature-Sample Subspace GeneratorとContextual Attention Evaluatorの2つの重要なコンポーネントで構成されている。
最初のコンポーネントは、評価バイアスを軽減するために、特徴空間内の情報分布を分離することを目的としている。
これを実現するために、まず、予測タスクと最も関連性の高い特徴と、その後の評価者からのフィードバックに基づいて、最も評価が難しいサンプルを識別する。
この分離戦略は、評価者が常に機能領域の最も困難な側面を目標とします。
第2のコンポーネントは、効率的な評価のために、機能領域の進化するパターンをインクリメンタルにキャプチャすることを目的としている。
特徴空間のキー特性を埋め込みベクトルに符号化して評価する重み付きマルチヘッドアテンション機構を提案する。
さらに、最適化過程における連続的な特徴空間として、新たな洞察を取り入れつつ、事前評価知識を維持しながら、段階的に評価装置を更新する。
14個の実世界のデータセットに対する大規模な実験により,提案手法の有効性が示された。
私たちのコードとデータは公開されています。
関連論文リスト
- Unifying Feature and Cost Aggregation with Transformers for Semantic and Visual Correspondence [51.54175067684008]
本稿では,高密度マッチングタスク用に設計されたTransformerベースの積分機能とコスト集約ネットワークを提案する。
まず, 特徴集約とコスト集約が異なる特徴を示し, 双方の集約プロセスの司法的利用から生じる実質的な利益の可能性を明らかにした。
本フレームワークは意味マッチングのための標準ベンチマークで評価され,また幾何マッチングにも適用された。
論文 参考訳（メタデータ） (2024-03-17T07:02:55Z) - Knockoff-Guided Feature Selection via A Single Pre-trained Reinforced
Agent [44.84307718534031]
ノックオフ機能によってガイドされる特徴選択のための革新的なフレームワークを導入し、強化学習により最適化する。
探索プロセスの有効性を向上させるために,原特徴とそれに対応する擬似ラベルを事前訓練した深部Qネットワークが用いられている。
新しいepsilon-greedy戦略を使用して、擬似ラベルからの洞察を取り入れて、特徴選択プロセスをより効果的にする。
論文 参考訳（メタデータ） (2024-03-06T19:58:19Z) - Feature Decoupling-Recycling Network for Fast Interactive Segmentation [79.22497777645806]
近年のインタラクティブセグメンテーション手法では,入力としてソースイメージ,ユーザガイダンス,従来予測されていたマスクを反復的に取り込んでいる。
本稿では,本質的な相違点に基づいてモデリングコンポーネントを分離するFDRN(Feature Decoupling-Recycling Network)を提案する。
論文 参考訳（メタデータ） (2023-08-07T12:26:34Z) - Traceable Group-Wise Self-Optimizing Feature Transformation Learning: A
Dual Optimization Perspective [33.45878576396101]
特徴変換は、既存の特徴を数学的に洗練することにより、効果的な表現空間を再構築することを目的としている。
既存の研究は主にドメイン知識に基づく特徴工学や学習潜在表現に重点を置いている。
最初の作業は、新しい自己最適化フレームワークを導入することで、この課題への先駆的な一歩を踏み出したのです。
論文 参考訳（メタデータ） (2023-06-29T12:29:21Z) - Beyond Discrete Selection: Continuous Embedding Space Optimization for
Generative Feature Selection [34.32619834917906]
我々は、特徴選択問題を深い微分可能な最適化タスクとして再構成する。
本稿では,離散的特徴部分集合を連続的な埋め込み空間として概念化する,新しい原理的な研究視点を提案する。
具体的には、強化特徴選択学習を利用して、多種多様な高品質なトレーニングデータを生成する。
論文 参考訳（メタデータ） (2023-02-26T03:18:45Z) - Bayesian Optimization with Informative Covariance [13.113313427848828]
探索空間の特定の領域の好みを符号化するために,非定常性を利用した新しい情報共分散関数を提案する。
提案した関数は,より弱い事前情報の下でも,ハイ次元でのベイズ最適化のサンプル効率を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-08-04T15:05:11Z) - Meta-Wrapper: Differentiable Wrapping Operator for User Interest
Selection in CTR Prediction [97.99938802797377]
クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。
近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。
そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2022-06-28T03:28:15Z) - Generalizing Interactive Backpropagating Refinement for Dense Prediction [0.0]
本稿では,G-BRSレイヤの集合を導入し,グローバル・ローカライズド・リファインメントとローカライズド・リファインメントの両立を可能にした。
提案手法は,数クリックで既存の事前訓練された最先端モデルの性能を向上する。
論文 参考訳（メタデータ） (2021-12-21T03:52:08Z) - Adversarial Feature Augmentation and Normalization for Visual
Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。
本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。
代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文 参考訳（メタデータ） (2021-03-22T20:36:34Z) - Novel Human-Object Interaction Detection via Adversarial Domain
Generalization [103.55143362926388]
本研究では,新たな人-物間相互作用(HOI)検出の問題点を考察し,モデルの一般化能力を向上させることを目的とした。
この課題は、主に対象と述語の大きな構成空間に起因し、全ての対象と述語の組み合わせに対する十分な訓練データが欠如している。
本稿では,予測のためのオブジェクト指向不変の特徴を学習するために,対数領域の一般化の統一的な枠組みを提案する。
論文 参考訳（メタデータ） (2020-05-22T22:02:56Z) - Learning to Predict Context-adaptive Convolution for Semantic
Segmentation [66.27139797427147]
長距離コンテキスト情報は、高性能なセマンティックセグメンテーションを実現するために不可欠である。
空間的に変化する特徴重み付けベクトルを予測するためのコンテキスト適応畳み込みネットワーク(CaC-Net)を提案する。
当社のCaC-Netは,3つの公開データセット上でのセグメンテーション性能に優れています。
論文 参考訳（メタデータ） (2020-04-17T13:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。