論文の概要: DataFed: Towards Reproducible Research via Federated Data Management

• arxiv url: http://arxiv.org/abs/2004.03710v1
• Date: Tue, 7 Apr 2020 21:05:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 03:48:27.112417
• Title: DataFed: Towards Reproducible Research via Federated Data Management
• Title（参考訳）: datafed: フェデレーションデータ管理による再現可能な研究に向けて
• Authors: Dale Stansberry, Suhas Somnath, Jessica Breet, Gregory Shutt, and Mallikarjun Shankar
• Abstract要約: DataFedは軽量で分散した科学データ管理システムである。 それは、ゆるやかに結合された科学施設のネットワーク内のストレージシステムの連合にまたがる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasingly collaborative, globalized nature of scientific research combined with the need to share data and the explosion in data volumes present an urgent need for a scientific data management system (SDMS). An SDMS presents a logical and holistic view of data that greatly simplifies and empowers data organization, curation, searching, sharing, dissemination, etc. We present DataFed -- a lightweight, distributed SDMS that spans a federation of storage systems within a loosely-coupled network of scientific facilities. Unlike existing SDMS offerings, DataFed uses high-performance and scalable user management and data transfer technologies that simplify deployment, maintenance, and expansion of DataFed. DataFed provides web-based and command-line interfaces to manage data and integrate with complex scientific workflows. DataFed represents a step towards reproducible scientific research by enabling reliable staging of the correct data at the desired environment.
• Abstract（参考訳）: データ共有の必要性とデータボリュームの爆発の必要性が相まって、科学研究の協力的かつグローバル化が進み、科学データ管理システム(sdms)が緊急に必要となる。 SDMSは、データ組織、キュレーション、検索、共有、普及などを大幅に単純化し、強化する、論理的で包括的なデータビューを提示します。 DataFed - 科学施設の疎結合ネットワーク内のストレージシステムのフェデレーションにまたがる、軽量で分散されたSDMS。 既存のSDMS製品とは異なり、DataFedはDataFedのデプロイ、メンテナンス、拡張を簡単にする高性能でスケーラブルなユーザー管理およびデータ転送技術を使用している。 DataFedは、データを管理し、複雑な科学的ワークフローを統合するためのWebベースおよびコマンドラインインターフェースを提供する。 DataFedは、所望の環境で正しいデータの信頼性の高いステージングを可能にすることで、再現可能な科学研究への一歩である。

関連論文リスト

• A Systematic Review of NeurIPS Dataset Management Practices [7.974245534539289]
  我々はNeurIPSトラックで公開されたデータセットの体系的なレビューを行い、証明、配布、倫理的開示、ライセンスの4つの重要な側面に焦点を当てる。 この結果から, データセットの出現は不明瞭なフィルタリングやキュレーションのプロセスのため, しばしば不明瞭であることが明らかとなった。 これらの矛盾は、データセットの公開と管理のための標準化されたデータインフラストラクチャーの緊急の必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-10-31T23:55:41Z)
• Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models [79.65071553905021]
  所望のデータセットの特徴を考慮したデータ生成手法であるデータアドバイザを提案する。 Data Advisorは生成されたデータの状態を監視し、現在のデータセットの弱点を特定し、データ生成の次のイテレーションをアドバイスする。
  論文  参考訳（メタデータ） (2024-10-07T17:59:58Z)
• OpenDataLab: Empowering General Artificial Intelligence with Open Datasets [53.22840149601411]
  本稿では,多様なデータソース間のギャップと統一データ処理の必要性を埋めるプラットフォームであるOpenDataLabを紹介する。 OpenDataLabは、幅広いオープンソースのAIデータセットを統合し、インテリジェントクエリと高速ダウンロードサービスを通じて、データ取得効率を向上させる。 我々は,OpenDataLabが人工知能(AGI)の研究を大幅に促進し,関連するAI分野の進歩を促進することを期待する。
  論文  参考訳（メタデータ） (2024-06-04T10:42:01Z)
• Data-driven Discovery with Large Generative Models [47.324203863823335]
  このポジションペーパーは、機械学習(ML)コミュニティに、大規模生成モデル(LGM)の能力を活用するよう促す。 我々は、LGMが理想的なデータ駆動探索システムのために、どのようにいくつかのデシラタを満たすかを実証する。 我々は,フィードバック機構によるアクティブなユーザモデレーションとともに,フェールプロテクションツールの統合を提唱する。
  論文  参考訳（メタデータ） (2024-02-21T08:26:43Z)
• Transforming Agriculture with Intelligent Data Management and Insights [3.027257459810039]
  現代の農業は、気候変動と天然資源の枯渇の制約の下で、食料、燃料、飼料、繊維の需要の増加に対応するための大きな課題に直面している。 データ革新は、アグロエコシステムの生産性、持続可能性、レジリエンスの確保と改善に緊急に必要です。
  論文  参考訳（メタデータ） (2023-11-07T22:02:54Z)
• A Versatile Data Fabric for Advanced IoT-Based Remote Health Monitoring [0.8789651809819904]
  本稿では,デジタルヘルスアプリケーション用に設計された,データ中心でセキュリティを重視したデータファブリックについて述べる。 提案するデータファブリックは、異種データソースの統合を容易にするアーキテクチャとツールキットから構成される。 本稿では,高齢者を対象とした在宅遠隔監視研究プロジェクトにおいて,データファブリックの実装について紹介する。
  論文  参考訳（メタデータ） (2023-10-02T22:05:48Z)
• Assessing Scientific Contributions in Data Sharing Spaces [64.16762375635842]
  本稿では、研究者の科学的貢献を測定するブロックチェーンベースのメトリクスであるSCIENCE-indexを紹介する。 研究者にデータ共有のインセンティブを与えるため、SCIENCE-indexはデータ共有パラメータを含むように拡張されている。 本モデルは, 地理的に多様な研究者の出力分布とh-indexの分布を比較して評価する。
  論文  参考訳（メタデータ） (2023-03-18T19:17:47Z)
• Outsourcing Training without Uploading Data via Efficient Collaborative Open-Source Sampling [49.87637449243698]
  従来のアウトソーシングでは、デバイスデータをクラウドサーバにアップロードする必要がある。 我々は、公開および異種ソースから収集された膨大なデータセットである、広く利用可能なオープンソースデータを活用することを提案する。 我々は,オープンソースデータからクラウドトレーニングのためのプロキシデータセットを構築するための,ECOS(Efficient Collaborative Open-source Sampling)と呼ばれる新しい戦略を開発した。
  論文  参考訳（メタデータ） (2022-10-23T00:12:18Z)
• A big data intelligence marketplace and secure analytics experimentation platform for the aviation industry [0.0]
  本稿では,新しい航空データおよびインテリジェンス市場を提供するICARUSビッグデータ対応プラットフォームを紹介する。 データ収集、データキュレーション、データ探索から、データ統合とデータ分析まで、完全なビッグデータライフサイクルを総括的に処理します。
  論文  参考訳（メタデータ） (2021-11-18T18:51:40Z)
• RLDS: an Ecosystem to Generate, Share and Use Datasets in Reinforcement Learning [17.87592413742589]
  RLDSは、シークエンシャル意思決定(Sequential Decision Making, SDM)のコンテキストでデータを記録、再生、操作、注釈付け、共有するためのエコシステムである。 RLDSは既存の研究と容易に新しいデータセットを生成するだけでなく、新しい研究を加速する。 RLDSエコシステムは、情報を失うことなくデータセットを簡単に共有し、基盤となる元のフォーマットに依存しないようにする。
  論文  参考訳（メタデータ） (2021-11-04T11:48:19Z)
• Data Mining with Big Data in Intrusion Detection Systems: A Systematic Literature Review [68.15472610671748]
  クラウドコンピューティングは、複雑で高性能でスケーラブルな計算のために、強力で必要不可欠な技術になっている。 データ生成の迅速化とボリュームは、データ管理とセキュリティに重大な課題をもたらし始めている。 ビッグデータ設定における侵入検知システム(IDS)の設計と展開が重要視されている。
  論文  参考訳（メタデータ） (2020-05-23T20:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。