論文の概要: Dynamic and Adaptive Feature Generation with LLM

• arxiv url: http://arxiv.org/abs/2406.03505v1
• Date: Tue, 4 Jun 2024 20:32:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 19:34:24.432956
• Title: Dynamic and Adaptive Feature Generation with LLM
• Title（参考訳）: LLMによる動的・適応的特徴生成
• Authors: Xinhao Zhang, Jinghan Zhang, Banafsheh Rekabdar, Yuanchun Zhou, Pengfei Wang, Kunpeng Liu,
• Abstract要約: 本稿では,特徴生成プロセスの解釈可能性を高める動的かつ適応的な特徴生成手法を提案する。 弊社のアプローチは、さまざまなデータタイプやタスクに適用可能性を広げ、戦略的柔軟性よりも優位性を引き出す。
• 参考スコア（独自算出の注目度）: 10.142660254703225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The representation of feature space is a crucial environment where data points get vectorized and embedded for upcoming modeling. Thus the efficacy of machine learning (ML) algorithms is closely related to the quality of feature engineering. As one of the most important techniques, feature generation transforms raw data into an optimized feature space conducive to model training and further refines the space. Despite the advancements in automated feature engineering and feature generation, current methodologies often suffer from three fundamental issues: lack of explainability, limited applicability, and inflexible strategy. These shortcomings frequently hinder and limit the deployment of ML models across varied scenarios. Our research introduces a novel approach adopting large language models (LLMs) and feature-generating prompts to address these challenges. We propose a dynamic and adaptive feature generation method that enhances the interpretability of the feature generation process. Our approach broadens the applicability across various data types and tasks and draws advantages over strategic flexibility. A broad range of experiments showcases that our approach is significantly superior to existing methods.
• Abstract（参考訳）: 特徴空間の表現は、データポイントがベクトル化され、今後のモデリングのために組み込まれる重要な環境である。 したがって、機械学習(ML)アルゴリズムの有効性は、特徴工学の品質と密接に関連している。 最も重要な手法の1つとして、特徴生成は生データをモデルトレーニングに適応した特徴空間に変換し、さらにその空間を洗練させる。 自動機能エンジニアリングと機能生成の進歩にもかかわらず、現在の方法論は、説明責任の欠如、適用可能性の制限、柔軟性のない戦略の3つの根本的な問題に悩まされることが多い。 これらの欠点は、さまざまなシナリオにまたがるMLモデルのデプロイを頻繁に妨げ、制限する。 本研究は,大規模言語モデル(LLM)と特徴生成プロンプトを併用して,これらの課題に対処する新しいアプローチを提案する。 本稿では,特徴生成プロセスの解釈可能性を高める動的かつ適応的な特徴生成手法を提案する。 弊社のアプローチは、さまざまなデータタイプやタスクに適用可能性を広げ、戦略的柔軟性よりも優位性を引き出す。 幅広い実験により,本手法は既存手法よりもはるかに優れていることが示された。

関連論文リスト

• Where Do We Stand with Implicit Neural Representations? A Technical and Performance Survey [16.89460694470542]
  Inlicit Neural Representation (INR) は知識表現のパラダイムとして登場した。 INRは、データを連続的な暗黙の関数としてモデル化するために多層パーセプトロン(MLP)を利用する。 この調査では、アクティベーション機能、位置エンコーディング、統合戦略、ネットワーク構造という4つの重要な領域に分類する明確な分類法を紹介した。
  論文  参考訳（メタデータ） (2024-11-06T06:14:24Z)
• Contemporary Model Compression on Large Language Models Inference [7.307436175842646]
  大規模言語モデル(LLM)は、様々なタスクで最先端の結果を達成することによって、自然言語処理に革命をもたらした。 LLM推論の計算要求は、高いメモリ消費と遅い処理速度を含み、現実世界のアプリケーションにとって大きな課題となっている。 本研究では, LLMのサイズと計算量を削減することにより, これらの課題に対処するモデル圧縮技術について検討する。
  論文  参考訳（メタデータ） (2024-09-03T15:35:01Z)
• Structuring a Training Strategy to Robustify Perception Models with Realistic Image Augmentations [1.5723316845301678]
  本報告では, モデルロバスト性, 性能を向上させるため, 強化したトレーニング手法を提案する。 機械学習モデルの弱点を特定し、適切な拡張を選択し、効果的なトレーニング戦略を考案する包括的フレームワークを提案する。 実験結果は,オープンソースオブジェクトの検出とセマンティックセグメンテーションモデルとデータセットに対する平均平均精度(mAP)や平均距離(mIoU)といった一般的な測定値によって測定されるモデル性能の改善を示す。
  論文  参考訳（メタデータ） (2024-08-30T14:15:48Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• Feature Interaction Aware Automated Data Representation Transformation [27.26916497306978]
  我々は,マルコフ決定過程をカスケードした階層的強化学習構造を開発し,特徴選択と操作選択を自動化する。 我々は、選択された特徴間の相互作用強度に基づいてエージェントに報酬を与える。その結果、人間の意思決定をエミュレートする特徴空間をインテリジェントかつ効率的に探索する。
  論文  参考訳（メタデータ） (2023-09-29T06:48:16Z)
• Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
  アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。 潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
  論文  参考訳（メタデータ） (2022-02-27T19:07:12Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。