論文の概要: Unsupervised Generative Feature Transformation via Graph Contrastive Pre-training and Multi-objective Fine-tuning
- arxiv url: http://arxiv.org/abs/2405.16879v1
- Date: Mon, 27 May 2024 06:50:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 16:41:02.734745
- Title: Unsupervised Generative Feature Transformation via Graph Contrastive Pre-training and Multi-objective Fine-tuning
- Title（参考訳）: グラフコントラスト事前学習と多目的微調整による教師なし生成特徴変換
- Authors: Wangyang Ying, Dongjie Wang, Xuanming Hu, Yuanchun Zhou, Charu C. Aggarwal, Yanjie Fu,
- Abstract要約: 教師なし特徴変換学習のための測定-事前訓練-ファネチューンパラダイムを開発した。
教師なし特徴集合の実用性測定のために,特徴値の整合性維持の観点から提案する。
生成的変換ファインタニングでは,特徴集合を特徴クロスシーケンス,特徴変換を逐次生成とみなす。
- 参考スコア（独自算出の注目度）: 28.673952870674146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature transformation is to derive a new feature set from original features to augment the AI power of data. In many science domains such as material performance screening, while feature transformation can model material formula interactions and compositions and discover performance drivers, supervised labels are collected from expensive and lengthy experiments. This issue motivates an Unsupervised Feature Transformation Learning (UFTL) problem. Prior literature, such as manual transformation, supervised feedback guided search, and PCA, either relies on domain knowledge or expensive supervised feedback, or suffers from large search space, or overlooks non-linear feature-feature interactions. UFTL imposes a major challenge on existing methods: how to design a new unsupervised paradigm that captures complex feature interactions and avoids large search space? To fill this gap, we connect graph, contrastive, and generative learning to develop a measurement-pretrain-finetune paradigm for UFTL. For unsupervised feature set utility measurement, we propose a feature value consistency preservation perspective and develop a mean discounted cumulative gain like unsupervised metric to evaluate feature set utility. For unsupervised feature set representation pretraining, we regard a feature set as a feature-feature interaction graph, and develop an unsupervised graph contrastive learning encoder to embed feature sets into vectors. For generative transformation finetuning, we regard a feature set as a feature cross sequence and feature transformation as sequential generation. We develop a deep generative feature transformation model that coordinates the pretrained feature set encoder and the gradient information extracted from a feature set utility evaluator to optimize a transformed feature generator.
- Abstract（参考訳）: フィーチャートランスフォーメーションは、データのAIパワーを強化するために、オリジナルの機能から新機能セットを導き出すことである。
材料性能スクリーニングのような多くの科学領域では、特徴変換は材料公式の相互作用や構成をモデル化し、性能ドライバを発見するが、教師付きラベルは高価で長い実験から収集される。
この問題は、教師なし特徴変換学習(Unsupervised Feature Transformation Learning, UFTL)の課題を動機付けている。
手動変換、教師付きフィードバック誘導検索、PCAといった以前の文献では、ドメイン知識や高価な教師付きフィードバックに依存しているか、大きな検索スペースに悩まされているか、非線形の特徴-機能相互作用を見落としている。
UFTLは、複雑な特徴の相互作用を捉え、大きな検索空間を避ける、新しい教師なしパラダイムをどうやって設計するか?
このギャップを埋めるために、グラフ、コントラスト、生成学習を結合し、UFTLのための測定前ファインチューンパラダイムを開発する。
教師なし特徴集合の実用性評価のために,特徴値の整合性維持の視点を提案し,教師なし指標のような平均値の累積ゲインを開発し,特徴集合の実用性を評価する。
教師なし特徴集合表現事前学習では,特徴集合を特徴集合間相互作用グラフとみなし,特徴集合をベクトルに埋め込む教師なしグラフコントラスト学習エンコーダを開発する。
生成的変換ファインタニングでは,特徴集合を特徴クロスシーケンス,特徴変換を逐次生成とみなす。
本研究では,事前学習した特徴セットエンコーダと,特徴セットユーティリティ評価器から抽出した勾配情報を調整して,変換された特徴生成器を最適化する,深い特徴変換モデルを開発する。
関連論文リスト
- A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - CFPFormer: Feature-pyramid like Transformer Decoder for Segmentation and Detection [1.837431956557716]
特徴ピラミッドは、医療画像のセグメンテーションやオブジェクト検出といったタスクのために、畳み込みニューラルネットワーク(CNN)やトランスフォーマーで広く採用されている。
本稿では,特徴ピラミッドと変圧器を統合したデコーダブロックを提案する。
本モデルでは,既存手法と比較して,小型物体の検出性能が向上する。
論文 参考訳（メタデータ） (2024-04-23T18:46:07Z) - In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - Feature Interaction Aware Automated Data Representation Transformation [27.26916497306978]
我々は,マルコフ決定過程をカスケードした階層的強化学習構造を開発し,特徴選択と操作選択を自動化する。
我々は、選択された特徴間の相互作用強度に基づいてエージェントに報酬を与える。その結果、人間の意思決定をエミュレートする特徴空間をインテリジェントかつ効率的に探索する。
論文 参考訳（メタデータ） (2023-09-29T06:48:16Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳（メタデータ） (2023-09-22T06:55:41Z) - Learning Diverse Features in Vision Transformers for Improved
Generalization [15.905065768434403]
視覚変換器(ViT)は、異なる注意頭を持つ頑丈で刺激的な特徴を抽出する傾向があることを示す。
このモジュラリティにより、分散シフト時の性能はテスト時に大幅に改善される。
本稿では,注目者の入力勾配の促進により,学習特徴の多様性と補完性をさらに向上する手法を提案する。
論文 参考訳（メタデータ） (2023-08-30T19:04:34Z) - Traceable Automatic Feature Transformation via Cascading Actor-Critic
Agents [25.139229855367088]
特徴変換は機械学習(ML)の有効性と解釈可能性を高めるための必須課題である
特徴変換タスクを、特徴生成と選択の反復的、ネストされたプロセスとして定式化する。
高次元データにおけるSOTAとロバスト性と比較すると,F1スコアの24.7%の改善が見られた。
論文 参考訳（メタデータ） (2022-12-27T08:20:19Z) - Group-wise Reinforcement Feature Generation for Optimal and Explainable
Representation Space Reconstruction [25.604176830832586]
我々は表現空間の再構成をネストした特徴生成と選択の対話的なプロセスに再構成する。
我々は、機能群、操作群、および他の機能群を横断して新機能を生成するグループワイズ生成戦略を設計する。
システムの有効性, 効率, トレーサビリティ, 明示性を実証するための広範な実験を行った。
論文 参考訳（メタデータ） (2022-05-28T21:34:14Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。
我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
論文 参考訳（メタデータ） (2021-01-07T07:33:38Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳（メタデータ） (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。