論文の概要: Toward Compact Data from Big Data
- arxiv url: http://arxiv.org/abs/2012.13677v1
- Date: Sat, 26 Dec 2020 04:45:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 01:11:57.163096
- Title: Toward Compact Data from Big Data
- Title(参考訳): ビッグデータからのコンパクトデータに向けて
- Authors: Song-Kyoo (Amang) Kim
- Abstract要約: このコンパクトデータセットは、ビッグデータのないビッグデータシステムの有効かつパーソナライズされた利用のために、きめ細かいレベルでの最大知識パターンを含む。
論文の様々なデータ駆動研究領域において、様々なコンパクトデータ技術が実証されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Bigdata is a dataset of which size is beyond the ability of handling a
valuable raw material that can be refined and distilled into valuable specific
insights. Compact data is a method that optimizes the big dataset that gives
best assets without handling complex bigdata. The compact dataset contains the
maximum knowledge patterns at fine grained level for effective and personalized
utilization of bigdata systems without bigdata. The compact data method is a
tailor-made design which depends on problem situations. Various compact data
techniques have been demonstrated into various data-driven research area in the
paper.
- Abstract(参考訳): bigdataは、価値ある原材料を扱う能力以上の大きさのデータセットで、特定の洞察に洗練され、蒸留される。
compact dataは、複雑なbigdataを扱うことなく、最高のアセットを提供するbig datasetを最適化するメソッドである。
このコンパクトデータセットは、ビッグデータのないビッグデータシステムの有効かつパーソナライズされた利用のために、きめ細かいレベルの最大知識パターンを含む。
コンパクトデータ手法は,問題状況に依存したテーラーメイドの設計である。
論文の様々なデータ駆動研究領域において、様々なコンパクトデータ技術が実証されている。
関連論文リスト
- A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。
データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。
より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-15T03:00:58Z) - Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models [79.65071553905021]
所望のデータセットの特徴を考慮したデータ生成手法であるデータアドバイザを提案する。
Data Advisorは生成されたデータの状態を監視し、現在のデータセットの弱点を特定し、データ生成の次のイテレーションをアドバイスする。
論文 参考訳(メタデータ) (2024-10-07T17:59:58Z) - How big is Big Data? [0.18472148461613155]
一般的な材料科学の機械学習問題において、それが何を意味するかを評価する。
モデルが類似したデータセットにどのように一般化するか、異種ソースから高品質なデータセットを収集できるかを問う。
ビッグデータには,作業のモチベーションを向上する上で,非常に異なる側面に沿って,ユニークな課題が存在していることが分かっています。
論文 参考訳(メタデータ) (2024-05-18T22:13:55Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - Towards Generalizable Data Protection With Transferable Unlearnable
Examples [50.628011208660645]
本稿では、転送不可能な例を生成することによって、新しい一般化可能なデータ保護手法を提案する。
私たちの知る限りでは、これはデータ分散の観点からデータのプライバシを調べる最初のソリューションです。
論文 参考訳(メタデータ) (2023-05-18T04:17:01Z) - A Comprehensive Survey of Dataset Distillation [73.15482472726555]
限られた計算能力で無制限に成長するデータを扱うことは困難になっている。
ディープラーニング技術はこの10年で前例のない発展を遂げた。
本稿では,多面的なデータセット蒸留の総合的な理解を提供する。
論文 参考訳(メタデータ) (2023-01-13T15:11:38Z) - Unsupervised Anomaly Detection for Auditing Data and Impact of
Categorical Encodings [20.37092575427039]
自動車クレームのデータセットは、自動車修理の不正な保険請求から成り立っている。
異常検出のためのベンチマークデータセットの欠落という一般的な問題に対処する。
データセットは浅層および深層学習法に基づいて評価される。
論文 参考訳(メタデータ) (2022-10-25T14:33:17Z) - Data privacy protection in microscopic image analysis for material data
mining [8.266759895003279]
本研究では,データプライバシ保護に基づく材料微細構造画像特徴抽出アルゴリズムであるFedTransferを提案する。
1) 多結晶微細構造画像分割タスクにフェデレート学習アルゴリズムを導入し,機械学習をフル活用し,データアイランドを壊し,ユーザデータのプライバシとセキュリティを確保する条件下でモデル一般化能力を向上させる。
ユーザの機密性に緊急でない画像のスタイル情報を共有することにより、異なるユーザのデータ分散の違いによるパフォーマンスペナルティを低減することができる。
論文 参考訳(メタデータ) (2021-11-09T11:16:33Z) - High-Dimensional Data Set Simplification by Laplace-Beltrami Operator [2.0610261400236793]
ラプラス・ベルトラミ作用素(LBO)の固有値と固有関数に基づくビッグデータ単純化手法を開発する。
提案手法の有効性と有効性を検証するために, 実例および応用例を示す。
論文 参考訳(メタデータ) (2020-03-23T13:52:58Z) - Smart Data driven Decision Trees Ensemble Methodology for Imbalanced Big
Data [11.117880929232575]
MapReduceパラダイムの使用によるデータ戦略の分割とマイノリティクラスのデータの欠如は、不均衡なデータ問題に対処するための新たな課題を提起している。
スマートデータ(Smart Data)は、高性能なモデルを実現するのに十分な品質のデータを指す。
本稿では,ビッグデータ領域における不均衡な分類問題に対処するための,新しいSmart Data driven Decision Trees Ensemble法を提案する。
論文 参考訳(メタデータ) (2020-01-16T12:25:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。