論文の概要: Integrating pre-processing pipelines in ODC based framework

• arxiv url: http://arxiv.org/abs/2210.01528v1
• Date: Tue, 4 Oct 2022 11:12:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 15:19:08.960285
• Title: Integrating pre-processing pipelines in ODC based framework
• Title（参考訳）: ODCベースのフレームワークにおける前処理パイプラインの統合
• Authors: U.Otamendi (1), I.Azpiroz (1), M.Quartulli (1), I.Olaizola (1) ((1) Vicomtech Foundation)
• Abstract要約: 本稿では,オープンソース処理パイプラインの統合に基づく仮想製品の統合手法を提案する。 このアプローチの機能を検証し,評価するために,ジオイメージング・マネジメント・フレームワークに統合した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using on-demand processing pipelines to generate virtual geospatial products is beneficial to optimizing resource management and decreasing processing requirements and data storage space. Additionally, pre-processed products improve data quality for data-driven analytical algorithms, such as machine learning or deep learning models. This paper proposes a method to integrate virtual products based on integrating open-source processing pipelines. In order to validate and evaluate the functioning of this approach, we have integrated it into a geo-imagery management framework based on Open Data Cube (ODC). To validate the methodology, we have performed three experiments developing on-demand processing pipelines using multi-sensor remote sensing data, for instance, Sentinel-1 and Sentinel-2. These pipelines are integrated using open-source processing frameworks.
• Abstract（参考訳）: オンデマンド処理パイプラインを使用して仮想地理空間製品を生成することは、リソース管理の最適化と、処理要件とデータストレージスペースの削減に有用である。 さらに、事前処理された製品は、機械学習やディープラーニングモデルのようなデータ駆動分析アルゴリズムのデータ品質を改善します。 本稿では,オープンソース処理パイプラインの統合に基づく仮想製品の統合手法を提案する。 このアプローチの機能を検証し,評価するために,オープンデータキューブ(ODC)に基づく地理画像管理フレームワークに統合した。 本手法を検証するために,マルチセンサリモートセンシングデータ,例えばSentinel-1とSentinel-2を用いたオンデマンド処理パイプラインの3つの実験を行った。 これらのパイプラインは、オープンソースの処理フレームワークを使って統合される。

関連論文リスト

• Control and Automation for Industrial Production Storage Zone: Generation of Optimal Route Using Image Processing [49.1574468325115]
  本稿では,DIPを用いた生産ラインモデルのゾーンに対する産業自動化手法の開発に焦点をあてる。 新カスケード法は、それぞれの段階を適切な方法で定義し、関連する手法を開発に含めることを可能にした。 システムはOpenCVライブラリをベースとしており、Java言語に基づいたオブジェクト指向プログラミング(OOP)プラットフォーム上に実装された人工視覚に焦点を当てたツールである。
  論文  参考訳（メタデータ） (2024-03-15T06:50:19Z)
• An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
  研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。 本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。 提案されたフレームワークは使いやすく、柔軟です。
  論文  参考訳（メタデータ） (2024-02-26T07:22:51Z)
• Trusted Provenance of Automated, Collaborative and Adaptive Data Processing Pipelines [2.186901738997927]
  ソリューションアーキテクチャと、Provenance Holderと呼ばれるサービスのコンセプト実装の証明を提供しています。 Provenance Holderは、コラボレーティブで適応的なデータ処理パイプラインを信頼できる方法で実現可能にする。
  論文  参考訳（メタデータ） (2023-10-17T17:52:27Z)
• Deep Pipeline Embeddings for AutoML [11.168121941015015]
  AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。 既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。 本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:40:38Z)
• Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data Programming [77.38174112525168]
  私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
  論文  参考訳（メタデータ） (2022-03-02T19:57:32Z)
• Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines [77.45213180689952]
  ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。 エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。 チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
  論文  参考訳（メタデータ） (2022-02-17T14:31:58Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines [48.7576911714538]
  提案手法は、複合機械学習パイプラインの設計を自動化することを目的としている。 パイプラインをカスタマイズ可能なグラフベースの構造で設計し、得られた結果を分析して再生する。 このアプローチのソフトウェア実装は、オープンソースフレームワークとして紹介されている。
  論文  参考訳（メタデータ） (2021-06-26T23:19:06Z)
• MLCask: Efficient Management of Component Evolution in Collaborative Data Analytics Pipelines [29.999324319722508]
  マシンラーニングパイプラインのデプロイ時に発生する2つの大きな課題に対処し、エンドツーエンド分析システムMLCaskのバージョニング設計で対処する。 我々は,再利用可能な履歴記録とパイプライン互換性情報を用いて,パイプライン探索木を刈り取ることで,メートル法駆動のマージ操作を定義し,高速化する。 MLCaskの有効性は、いくつかの実世界の展開事例に関する広範な研究を通じて評価される。
  論文  参考訳（メタデータ） (2020-10-17T13:34:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。