論文の概要: Benchmarking the Open Science Data Federation services to develop XRootD best practices

• arxiv url: http://arxiv.org/abs/2605.13593v1
• Date: Wed, 13 May 2026 14:29:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.104382
• Title: Benchmarking the Open Science Data Federation services to develop XRootD best practices
• Title（参考訳）: XRootDベストプラクティス開発のためのOpen Science Data Federationサービスのベンチマーク
• Authors: Fabio Andrijauskas, Igor Sfiligoi, Frank Würthwein,
• Abstract要約: Open Science Data Federation (OSDF)プロジェクトは、ペリカンプラットフォームに基づいた科学的グローバルなデータ配信ネットワークの構築を目的としている。 本研究は,National Research Platform(NRP)ホストを用いて実施したテストと結果について述べる。 この方法論を適用することで、さまざまなシナリオでXRootDとPelican層がどのように機能するかを追跡することが可能になる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research has become dependent on processing power and storage, one crucial aspect being data sharing. The Open Science Data Federation (OSDF) project aims to create a scientific global data distribution network based on the Pelican Platform. OSDF relies on the XRootD and Pelican projects. Nevertheless, OSDF must understand the XRootD limits under various configuration options, including transfer rate limits, proper buffer configuration, and storage type effect. We have thus executed a set of benchmarks to create a set of recommendations to share with the XRootD and Pelican teams. This work describes the tests and results performed using National Research Platform (NRP) hosts. The tests cover various file sizes and parallel streams and use clients from various distances from the server host. We also used several standalone clients (wget, curl, pelican) and the native HTCondor file transfer mechanisms. Applying the methodology creates a possibility to track how XRootD and the Pelican layer perform in different scenarios.
• Abstract（参考訳）: 研究は処理能力とストレージに依存している。 Open Science Data Federation (OSDF)プロジェクトは、ペリカンプラットフォームに基づいた科学的グローバルなデータ配信ネットワークの構築を目的としている。 OSDF は XRootD と Pelican のプロジェクトに依存している。 それでもOSDFは、転送レート制限、適切なバッファ設定、ストレージタイプのエフェクトなど、さまざまな設定オプションの下でXRootD制限を理解する必要がある。 そのために、XRootDとPelicanのチームと共有するためのレコメンデーションセットを作成するために、一連のベンチマークを実行しました。 本研究は,National Research Platform(NRP)ホストを用いて実施したテストと結果について述べる。 テストでは、さまざまなファイルサイズと並列ストリームをカバーし、サーバホストからさまざまな距離からクライアントを使用する。 また、いくつかのスタンドアロンクライアント(wget, curl, pelican)とネイティブのHTCondorファイル転送機構も使用しました。 この方法論を適用することで、さまざまなシナリオでXRootDとPelican層がどのように機能するかを追跡することが可能になる。

関連論文リスト

• FS-Researcher: Test-Time Scaling for Long-Horizon Research Tasks with File-System-Based Agents [53.03492387564392]
  我々はFS-Researcherを紹介した。FS-Researcherはファイルシステムベースのフレームワークで、永続的なワークスペースを通じてコンテキストウィンドウを超えて深い研究をスケールする。 Context Builderエージェントはインターネットを閲覧し、構造化されたノートを書き、ソースを階層的な知識ベースにアーカイブする。 その後、レポートライターエージェントが最終レポートセクションをセクションごとに構成し、知識ベースを事実のソースとして扱う。
  論文  参考訳（メタデータ） (2026-02-02T03:00:19Z)
• CapsuleFS A Multi-credential DataCapsule Filesystem [7.588392585790625]
  CapsuleFS(CFS)は、ストレージプロバイダとしてDataCapsuleを利用するPOSIX準拠のフレームワークに、初めてマルチクレジット機能を統合したものだ。 CFSの実験的評価によると、読み書き性能は比較的控えめであるが、高い機能的正しさを保っている。
  論文  参考訳（メタデータ） (2025-12-08T22:02:40Z)
• Data-Juicer 2.0: Cloud-Scale Adaptive Data Processing for and with Foundation Models [83.65386456026441]
  Data-Juicer 2.0は、テキスト、画像、ビデオ、オーディオのモダリティにまたがる100以上のデータ処理オペレータがバックアップするデータ処理システムである。 データ分析、合成、アノテーション、基礎モデルのポストトレーニングなど、より重要なタスクをサポートする。 このシステムは公開されており、さまざまな研究分野やAlibaba Cloud PAIのような現実世界の製品で広く採用されている。
  論文  参考訳（メタデータ） (2024-12-23T08:29:57Z)
• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  我々は,ユーザの好みをトレードオフ性能やハードウェアメトリクスにエンコードするNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• FedorAS: Federated Architecture Search under system heterogeneity [7.187123335023895]
  フェデレーテッド・ラーニング(FL)は、プライバシを保ちながら分散データを使用する能力により、最近かなりの注目を集めている。 また、その計算能力とコントリビューションデータの観点から、参加するデバイスの不均一性に関する追加の課題も生じている。 非IID分散データを保持する様々な機能を持つデバイスを扱う際に,将来性のあるアーキテクチャを発見し,訓練するためのシステムであるFedorASを設計する。
  論文  参考訳（メタデータ） (2022-06-22T17:36:26Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• NAS-FAS: Static-Dynamic Central Difference Network Search for Face Anti-Spoofing [94.89405915373857]
  対面防止(FAS)は、顔認識システムを保護する上で重要な役割を担っている。 既存の手法は専門家が設計したネットワークに依存しており、タスクFASのサブ最適化ソリューションにつながる可能性がある。 本稿では,ニューラルサーチ(NAS)に基づく最初のFAS手法であるFAS-FASを提案する。
  論文  参考訳（メタデータ） (2020-11-03T23:34:40Z)
• NASTransfer: Analyzing Architecture Transferability in Large Scale Neural Architecture Search [18.77097100500467]
  ニューラルネットワーク検索(NAS)は、機械学習においてオープンで困難な問題である。 大規模なNASを実行する典型的な方法は、小さなデータセット上のアーキテクチャビルディングブロックを検索し、そのブロックをより大きなデータセットに転送することである。 我々は、ImageNet1KやImageNet22Kのような大規模ベンチマークで一連の実験を行うことで、異なるNAS手法のアーキテクチャ転送可能性を分析する。
  論文  参考訳（メタデータ） (2020-06-23T20:28:42Z)
• CodeReef: an open platform for portable MLOps, reusable automation actions and reproducible benchmarking [0.2148535041822524]
  CodeReef - クロスプラットフォームMLOps(MLSysOps)を実現するために必要なすべてのコンポーネントを共有するオープンプラットフォームを提供する。 CodeReefソリューションも導入しています – 非仮想化、ポータブル、カスタマイズ可能なアーカイブファイルとしてモデルをパッケージ化し、共有する手段です。
  論文  参考訳（メタデータ） (2020-01-22T09:52:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。