論文の概要: Towards an Integrated Platform for Big Data Analysis
- arxiv url: http://arxiv.org/abs/2004.13021v1
- Date: Mon, 27 Apr 2020 03:15:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 06:05:26.955998
- Title: Towards an Integrated Platform for Big Data Analysis
- Title(参考訳): ビッグデータ分析のための統合プラットフォームを目指して
- Authors: Mahdi Bohlouli, Frank Schulz, Lefteris Angelis, David Pahor, Ivona
Brandic, David Atlan, Rosemary Tate
- Abstract要約: 本稿では,これらすべての側面を統合した,ビッグデータ解析のための統合型プレート形式のビジョンについて述べる。
このアプローチの主な利点は、プラットフォーム全体の拡張スケーラビリティ、アルゴリズムのパラメータ化の改善、エンドツーエンドのデータ分析プロセスにおけるユーザビリティの改善である。
- 参考スコア(独自算出の注目度): 4.5257812998381315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The amount of data in the world is expanding rapidly. Every day, huge amounts
of data are created by scientific experiments, companies, and end users'
activities. These large data sets have been labeled as "Big Data", and their
storage, processing and analysis presents a plethora of new challenges to
computer science researchers and IT professionals. In addition to efficient
data management, additional complexity arises from dealing with semi-structured
or unstructured data, and from time critical processing requirements. In order
to understand these massive amounts of data, advanced visualization and data
exploration techniques are required. Innovative approaches to these challenges
have been developed during recent years, and continue to be a hot topic for
re-search and industry in the future. An investigation of current approaches
reveals that usually only one or two aspects are ad-dressed, either in the data
management, processing, analysis or visualization. This paper presents the
vision of an integrated plat-form for big data analysis that combines all these
aspects. Main benefits of this approach are an enhanced scalability of the
whole platform, a better parameterization of algorithms, a more efficient usage
of system resources, and an improved usability during the end-to-end data
analysis process.
- Abstract(参考訳): 世界のデータ量は急速に増加している。
毎日、膨大な量のデータが科学実験、企業、エンドユーザーの活動によって作成されます。
これらの大きなデータセットは"Big Data"とラベル付けられており、そのストレージ、処理、分析は、コンピュータサイエンス研究者やIT専門家に多くの新しい課題をもたらす。
効率的なデータ管理に加えて、半構造化データや非構造化データを扱うことと、時間クリティカルな処理要件からさらに複雑さが発生する。
これらの膨大なデータを理解するためには、高度な可視化とデータ探索技術が必要である。
これらの課題に対する革新的なアプローチは近年開発され、将来も研究と産業にとってホットなトピックとなっている。
現在のアプローチの調査により、データ管理、処理、分析、可視化において、1つまたは2つの側面だけがアドレッシングされていることが明らかになった。
本稿では,ビッグデータ解析のための統合型plat-formのビジョンについて述べる。
このアプローチの主な利点は、プラットフォーム全体のスケーラビリティの向上、アルゴリズムのパラメータ化の改善、システムリソースの効率的な利用、エンドツーエンドのデータ分析プロセスにおけるユーザビリティの向上である。
関連論文リスト
- Benchmarking Data Science Agents [11.582116078653968]
大規模言語モデル(LLM)は、データサイエンスエージェントとして有望な支援として登場し、データ分析と処理において人間を支援している。
しかし、現実の応用の様々な要求と複雑な分析プロセスによって、それらの実用的有効性は依然として制限されている。
我々は、新しい評価パラダイムであるDSEvalと、これらのエージェントの性能を評価するための一連の革新的なベンチマークを紹介する。
論文 参考訳(メタデータ) (2024-02-27T03:03:06Z) - Collaborative business intelligence virtual assistant [1.9953434933575993]
本研究では、ユーザとCBI仮想アシスタントのインタラクションを通じて、分散仮想チームにおけるデータマイニングの応用に焦点を当てる。
CBIのための仮想アシスタントは、より広い範囲のユーザのためのデータ探索アクセシビリティを強化し、データ分析に必要な時間と労力を合理化するためのものである。
論文 参考訳(メタデータ) (2023-12-20T05:34:12Z) - Dynamic Spatio-Temporal Summarization using Information Based Fusion [3.038642416291856]
本稿では,重要な時間経過における情報的特徴を識別し,少ない情報的特徴を融合する動的時間的データ要約手法を提案する。
既存の手法とは異なり,本手法は生と要約の両方のタイムステップを保持し,時間とともに情報の変化を包括的に把握する。
我々は,粒子ベースのフローシミュレーション,セキュリティと監視の応用,免疫システム内の生体細胞間相互作用など,多様なデータセットにまたがる手法の汎用性を実証した。
論文 参考訳(メタデータ) (2023-10-02T20:21:43Z) - Integration of Domain Expert-Centric Ontology Design into the CRISP-DM
for Cyber-Physical Production Systems [63.62764375279861]
機械学習(ML)とデータマイニング(DM)の手法は、収集されたデータから複雑で隠れたパターンを抽出する上で有望であることが証明されている。
しかし、このようなデータ駆動プロジェクトは、通常、CRISPDM(Cross-Industry Standard Process for Data Mining)で実行され、データの理解と準備に要する時間の不均等さのために失敗することが多い。
このコントリビューションは、データサイエンティストがCPPSの課題に対してより迅速かつ確実に洞察を得ることができるように、統合されたアプローチを提供することを目的としている。
論文 参考訳(メタデータ) (2023-07-21T15:04:00Z) - Privacy-Preserving Graph Machine Learning from Data to Computation: A
Survey [67.7834898542701]
我々は,グラフ機械学習のプライバシ保護手法の見直しに重点を置いている。
まずプライバシ保護グラフデータを生成する方法を検討する。
次に,プライバシ保護情報を送信する方法について述べる。
論文 参考訳(メタデータ) (2023-07-10T04:30:23Z) - Demonstration of InsightPilot: An LLM-Empowered Automated Data
Exploration System [48.62158108517576]
本稿では,データ探索プロセスの簡略化を目的とした自動データ探索システムであるInsightPilotを紹介する。
InsightPilotは、理解、要約、説明などの適切な分析意図を自動的に選択する。
簡単に言うと、IQueryはデータ分析操作の抽象化と自動化であり、データアナリストのアプローチを模倣しています。
論文 参考訳(メタデータ) (2023-04-02T07:27:49Z) - A Comprehensive Survey of Dataset Distillation [73.15482472726555]
限られた計算能力で無制限に成長するデータを扱うことは困難になっている。
ディープラーニング技術はこの10年で前例のない発展を遂げた。
本稿では,多面的なデータセット蒸留の総合的な理解を提供する。
論文 参考訳(メタデータ) (2023-01-13T15:11:38Z) - Advanced Data Augmentation Approaches: A Comprehensive Survey and Future
directions [57.30984060215482]
データ拡張の背景、レビューされたデータ拡張技術の新しい包括的分類法、および各技術の強さと弱点(可能ならば)を提供する。
また、画像分類、オブジェクト検出、セマンティックセグメンテーションなどの3つの一般的なコンピュータビジョンタスクに対して、データ拡張効果の総合的な結果を提供する。
論文 参考訳(メタデータ) (2023-01-07T11:37:32Z) - Research Trends and Applications of Data Augmentation Algorithms [77.34726150561087]
我々は,データ拡張アルゴリズムの適用分野,使用するアルゴリズムの種類,重要な研究動向,時間経過に伴う研究の進展,およびデータ拡張文学における研究ギャップを同定する。
我々は、読者がデータ拡張の可能性を理解し、将来の研究方向を特定し、データ拡張研究の中で質問を開くことを期待する。
論文 参考訳(メタデータ) (2022-07-18T11:38:32Z) - A Query Language for Summarizing and Analyzing Business Process Data [6.952242545832663]
プロセスグラフ(Process Graph)やプロセスグラフ(Process Graph)といった,プロセスデータをグラフとしてモデル化するフレームワークを提案する。
プロセスグラフのクエリ、探索、分析のためのスケーラブルなアーキテクチャを実装しました。
論文 参考訳(メタデータ) (2021-05-23T11:07:53Z) - Occams Razor for Big Data? On Detecting Quality in Large Unstructured
Datasets [0.0]
分析複雑性への新たな傾向は、科学におけるパシモニーやオッカム・ラザーの原理にとって深刻な課題である。
データクラスタリングのための計算的ビルディングブロックアプローチは、最小の計算時間で大規模な非構造化データセットを扱うのに役立つ。
このレビューは、東西の文化的な違いがビッグデータ分析の過程にどのように影響するかを結論付けている。
論文 参考訳(メタデータ) (2020-11-12T16:06:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。