論文の概要: Generating Skyline Datasets for Data Science Models
- arxiv url: http://arxiv.org/abs/2502.11262v1
- Date: Sun, 16 Feb 2025 20:33:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:09:30.341709
- Title: Generating Skyline Datasets for Data Science Models
- Title（参考訳）: データサイエンスモデルのためのスカイラインデータセットの生成
- Authors: Mengying Wang, Hanchao Ma, Yiyang Bian, Yangxin Fan, Yinghui Wu,
- Abstract要約: 本稿では,複数のユーザ定義モデルパフォーマンス尺度を最適化することにより,データセットを検出するフレームワークであるMODisを紹介する。
スカイラインデータセットを生成するための3つの実現可能なアルゴリズムを導出する。
スカイラインデータ探索アルゴリズムの有効性と有効性を実験的に検証した。
- 参考スコア（独自算出の注目度）: 11.454081868173725
- License:
- Abstract: Preparing high-quality datasets required by various data-driven AI and machine learning models has become a cornerstone task in data-driven analysis. Conventional data discovery methods typically integrate datasets towards a single pre-defined quality measure that may lead to bias for downstream tasks. This paper introduces MODis, a framework that discovers datasets by optimizing multiple user-defined, model-performance measures. Given a set of data sources and a model, MODis selects and integrates data sources into a skyline dataset, over which the model is expected to have the desired performance in all the performance measures. We formulate MODis as a multi-goal finite state transducer, and derive three feasible algorithms to generate skyline datasets. Our first algorithm adopts a "reduce-from-universal" strategy, that starts with a universal schema and iteratively prunes unpromising data. Our second algorithm further reduces the cost with a bi-directional strategy that interleaves data augmentation and reduction. We also introduce a diversification algorithm to mitigate the bias in skyline datasets. We experimentally verify the efficiency and effectiveness of our skyline data discovery algorithms, and showcase their applications in optimizing data science pipelines.
- Abstract（参考訳）: さまざまなデータ駆動AIと機械学習モデルによって要求される高品質なデータセットを準備することは、データ駆動分析における基礎的なタスクとなっている。
従来のデータ発見手法は、一般的にデータセットを単一の事前定義された品質指標に統合し、下流タスクのバイアスにつながる可能性がある。
本稿では,複数のユーザ定義モデルパフォーマンス尺度を最適化することにより,データセットを検出するフレームワークであるMODisを紹介する。
一連のデータソースとモデルが与えられた後、MODisはデータソースをスカイラインデータセットに選択し、統合する。
我々はMODisを多ゴール有限状態トランスデューサとして定式化し、スカイラインデータセットを生成するための3つの実現可能なアルゴリズムを導出する。
私たちの最初のアルゴリズムは、普遍的なスキーマから始まり、反復的に非プロミケートなデータをプルーする"Reduce-from-Universal"戦略を採用しています。
第2のアルゴリズムは、データ拡張と削減をインターリーブする双方向戦略により、コストをさらに削減する。
また、スカイラインデータセットのバイアスを軽減するために、多様化アルゴリズムを導入する。
スカイラインデータ探索アルゴリズムの効率性と有効性を実験的に検証し,データサイエンスパイプラインの最適化への応用を実証する。
関連論文リスト
- Transfer Learning in $\ell_1$ Regularized Regression: Hyperparameter Selection Strategy based on Sharp Asymptotic Analysis [3.5374094795720854]
転送学習技術は、複数の関連するデータセットからの情報を活用し、ターゲットデータセットに対する予測品質を向上させることを目的としている。
トランス・ラッソ(Trans-Lasso)とプレトレーニング・ラッソ(Pretraining Lasso)である。
レプリカ法を用いて解析することにより,高次元環境下でのアルゴリズムの徹底的,精密な研究を行う。
微調整段階に転送される2種類の情報の1つを無視することは、一般化性能にはほとんど影響しない。
論文 参考訳（メタデータ） (2024-09-26T10:20:59Z) - Dataset Regeneration for Sequential Recommendation [69.93516846106701]
DR4SRと呼ばれるモデルに依存しないデータセット再生フレームワークを用いて、理想的なトレーニングデータセットを開発するためのデータ中心のパラダイムを提案する。
データ中心のパラダイムの有効性を示すために、我々はフレームワークを様々なモデル中心の手法と統合し、4つの広く採用されているデータセット間で大きなパフォーマンス改善を観察する。
論文 参考訳（メタデータ） (2024-05-28T03:45:34Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳（メタデータ） (2024-02-06T19:18:04Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - STAR: Boosting Low-Resource Information Extraction by Structure-to-Text
Data Generation with Large Language Models [56.27786433792638]
STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。
我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。
実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-05-24T12:15:19Z) - RLBoost: Boosting Supervised Models using Deep Reinforcement Learning [0.0]
RLBoostは、深層強化学習戦略を用いて、特定のデータセットを評価し、新しいデータの品質を推定できるモデルを得るアルゴリズムである。
論文の結果から, このモデルでは, LOO, DataShapley, DVRLなどの最先端アルゴリズムよりも, より優れた, より安定した結果が得られることが示された。
論文 参考訳（メタデータ） (2023-05-23T14:38:33Z) - A Dataset Fusion Algorithm for Generalised Anomaly Detection in
Homogeneous Periodic Time Series Datasets [0.0]
データセットフュージョン(Dataset Fusion)とは、複数の同種データセットからの周期的な信号を単一のデータセットに融合するアルゴリズムである。
提案手法は,平均F1スコア0.879で従来の訓練方法よりも有意に優れていた。
その結果、トレーニングデータの6.25%しか使用せず、計算能力の93.7%削減に換算すると、パフォーマンスは4.04%低下することがわかった。
論文 参考訳（メタデータ） (2023-05-14T16:24:09Z) - A Case for Dataset Specific Profiling [0.9023847175654603]
データ駆動科学は、科学的な発見が、リッチで規律固有のデータセットに対する計算AIモデルの実行に依存する、新興パラダイムである。
現代的な機械学習フレームワークを使用することで、誰でも科学的応用を可能にするデータに隠された概念を明らかにする計算モデルを開発し、実行することができる。
重要で広く使われているデータセットでは、データセットに対して実行できるすべての計算モデルのパフォーマンスを計算することは、クラウドリソースの点でコストを禁ずる。
論文 参考訳（メタデータ） (2022-08-01T18:38:05Z) - One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive
Least-Squares [8.443742714362521]
我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。
我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。
本実験では,提案手法の有効性をベースラインと比較した。
論文 参考訳（メタデータ） (2022-07-28T02:01:31Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。