論文の概要: Sculpting Features from Noise: Reward-Guided Hierarchical Diffusion for Task-Optimal Feature Transformation

• arxiv url: http://arxiv.org/abs/2505.15152v1
• Date: Wed, 21 May 2025 06:18:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.005909
• Title: Sculpting Features from Noise: Reward-Guided Hierarchical Diffusion for Task-Optimal Feature Transformation
• Title（参考訳）: 雑音による特徴の抽出:タスク最適特徴変換のための逆誘導階層的拡散
• Authors: Nanxu Gong, Zijun Li, Sixun Dong, Haoyue Bai, Wangyang Ying, Xinyuan Wang, Yanjie Fu,
• Abstract要約: DIFFTは報酬誘導型生成タスクとしてフィーチャートランスフォーメーションを再定義する。 構造的かつ離散的な特徴を生成し、機能内依存関係を保持しながら、並列な機能間生成を可能にする。 予測精度とロバスト性において、最先端のベースラインを一貫して上回り、トレーニングや推論時間を大幅に低下させる。
• 参考スコア（独自算出の注目度）: 18.670626228472877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature Transformation (FT) crafts new features from original ones via mathematical operations to enhance dataset expressiveness for downstream models. However, existing FT methods exhibit critical limitations: discrete search struggles with enormous combinatorial spaces, impeding practical use; and continuous search, being highly sensitive to initialization and step sizes, often becomes trapped in local optima, restricting global exploration. To overcome these limitations, DIFFT redefines FT as a reward-guided generative task. It first learns a compact and expressive latent space for feature sets using a Variational Auto-Encoder (VAE). A Latent Diffusion Model (LDM) then navigates this space to generate high-quality feature embeddings, its trajectory guided by a performance evaluator towards task-specific optima. This synthesis of global distribution learning (from LDM) and targeted optimization (reward guidance) produces potent embeddings, which a novel semi-autoregressive decoder efficiently converts into structured, discrete features, preserving intra-feature dependencies while allowing parallel inter-feature generation. Extensive experiments on 14 benchmark datasets show DIFFT consistently outperforms state-of-the-art baselines in predictive accuracy and robustness, with significantly lower training and inference times.
• Abstract（参考訳）: FT(Feature Transformation)は、下流モデルのデータセット表現性を高めるために、数学的操作を通じてオリジナルの機能から新機能を構築する。 しかし、既存のFT法は、巨大な組合せ空間との離散的な探索闘争、実用的な使用を妨げること、そして連続的な探索は、初期化やステップサイズに非常に敏感であり、しばしば局所的な最適状態に閉じ込められ、地球規模の探索を制限している。 これらの制限を克服するため、DIFFTはFTを報酬誘導型生成タスクとして再定義した。 まず、変分オートエンコーダ(VAE)を用いて特徴集合のコンパクトで表現力豊かな潜在空間を学習する。 遅延拡散モデル(LDM)はこの空間をナビゲートして高品質な特徴埋め込みを生成し、その軌道はタスク固有の最適化に向けて性能評価器によって導かれる。 このグローバル分散学習(LCM)とターゲット最適化(逆ガイダンス)の合成は強力な埋め込みを生み出し、新しい半自己回帰デコーダは、並列な機能間生成を可能にしながら、機能内依存関係を保ちながら、構造的かつ離散的な特徴に効率的に変換する。 14のベンチマークデータセットに対する大規模な実験により、DIFFTは予測精度と堅牢性において最先端のベースラインを一貫して上回り、トレーニングと推論時間が大幅に短縮された。

関連論文リスト

• LIFT: Latent Implicit Functions for Task- and Data-Agnostic Encoding [4.759109475818876]
  Implicit Neural Representations (INR)は、多様なデータドメインをまたいだタスクモデリングを統合するための強力なパラダイムであることが証明されている。 本稿では,メタラーニングによるマルチスケール情報をキャプチャする新しい高性能フレームワークLIFTを紹介する。 また、残差接続と表現頻度符号化を組み込んだLIFTの強化版であるReLIFTについても紹介する。
  論文  参考訳（メタデータ） (2025-03-19T17:00:58Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
  ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。 既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。 本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:10:53Z)
• Hierarchical Features Matter: A Deep Exploration of Progressive Parameterization Method for Dataset Distillation [44.03611131165989]
  階層型生成蒸留(H-PD)と呼ばれる新しい生成パラメータ化法を提案する。 提案したH-PDは、等価な時間消費で様々な設定で大幅な性能向上を実現している。 IPC=1, IPC=10の超過圧縮比下での拡散モデルを用いて, 現在の再生蒸留を超越している。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• Low-Rank Representations Meets Deep Unfolding: A Generalized and Interpretable Network for Hyperspectral Anomaly Detection [41.50904949744355]
  現在のハイパースペクトル異常検出(HAD)ベンチマークデータセットは、低解像度、単純なバックグラウンド、検出データの小さなサイズに悩まされている。 これらの要因は、ロバスト性の観点からよく知られた低ランク表現(LRR)モデルの性能も制限する。 我々は、複雑なシナリオにおけるHADアルゴリズムの堅牢性を改善するために、新しいHADベンチマークデータセットであるAIR-HADを構築した。
  論文  参考訳（メタデータ） (2024-02-23T14:15:58Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Fourier Test-time Adaptation with Multi-level Consistency for Robust Classification [10.291631977766672]
  本稿では,Fourier Test-Time Adaptation (FTTA) と呼ばれる新しい手法を提案する。 FTTAは、予測の自己監督を行うために、ペア入力の信頼性の高い多レベル整合性測定を構築する。 異なる形態と器官を持つ3つの大きな分類データセットで広範囲に検証された。
  論文  参考訳（メタデータ） (2023-06-05T02:29:38Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Rich Feature Construction for the Optimization-Generalization Dilemma [18.721567020497968]
  我々は、モデルで使用できる潜在的に有用な機能のパレットを含むリッチな表現(RFC)を構築する。 RFCは、6つのOoDメソッドが挑戦的な不変トレーニングベンチマークで最高のパフォーマンスを達成するのを一貫して支援します。 現実的な Camelyon17 タスクでは,OoD と OoD の両手法が,従来の計算可能な結果に対して少なくとも 5% 以上の性能を発揮する。
  論文  参考訳（メタデータ） (2022-03-24T20:39:33Z)
• An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices [58.62801151916888]
  パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。 新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
  論文  参考訳（メタデータ） (2020-01-20T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。