論文の概要: Accessibility Barriers in Multi-Terabyte Public Datasets: The Gap Between Promise and Practice

• arxiv url: http://arxiv.org/abs/2506.13256v1
• Date: Mon, 16 Jun 2025 08:52:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.893629
• Title: Accessibility Barriers in Multi-Terabyte Public Datasets: The Gap Between Promise and Practice
• Title（参考訳）: マルチテラバイトのパブリックデータセットにおけるアクセシビリティ障壁: 約束と実践のギャップ
• Authors: Marc Bara,
• Abstract要約: 本研究では、Webクロール、衛星画像、科学データ、共同プロジェクトにおけるアクセシビリティの課題について検討する。 我々の分析は、一般的に「一般にアクセス可能」なデータセットは、意味のある分析のために1000ドル以上の最小限の投資を必要としていることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The promise of "free and open" multi-terabyte datasets often collides with harsh realities. While these datasets may be technically accessible, practical barriers -- from processing complexity to hidden costs -- create a system that primarily serves well-funded institutions. This study examines accessibility challenges across web crawls, satellite imagery, scientific data, and collaborative projects, revealing a consistent two-tier system where theoretical openness masks practical exclusivity. Our analysis demonstrates that datasets marketed as "publicly accessible" typically require minimum investments of \$1,000+ for meaningful analysis, with complex processing pipelines demanding \$10,000-100,000+ in infrastructure costs. The infrastructure requirements -- distributed computing knowledge, domain expertise, and substantial budgets -- effectively gatekeep these datasets despite their "open" status, limiting practical accessibility to those with institutional support or substantial resources.
• Abstract（参考訳）: フリーでオープンな"マルチテラバイトデータセットの約束は、しばしば厳しい現実と衝突する。 これらのデータセットは技術的にアクセス可能であるかもしれないが、処理の複雑さから隠れたコストまで、実用的な障壁は、主に資金の潤沢な機関に役立てるシステムを構築する。 本研究では、ウェブクロール、衛星画像、科学データ、共同プロジェクトにおけるアクセシビリティの課題について検討し、理論的オープン性マスクが実用的な排他性を示す2層システムを明らかにする。 私たちの分析は、一般的に"パブリックアクセス"として販売されるデータセットは、意味のある分析のために1,000ドル以上の最小限の投資を必要とし、複雑な処理パイプラインは1万ドルから100,000ドル以上のインフラストラクチャコストを必要としていることを示している。 インフラストラクチャ要件 -- 分散コンピューティングの知識、ドメインの専門知識、実質的な予算 -- は、その"オープン"な状態にもかかわらず、これらのデータセットを事実上ゲートキープし、制度的なサポートや実質的なリソースを持つ人々への実用的なアクセシビリティを制限します。

関連論文リスト

• The CASE Framework -- A New Architecture for Participatory Research and Digital Health Surveillance [3.2389916198921878]
  本稿では,適応型文脈認識参加型研究のためのオープンソースプラットフォームであるCASEフレームワークを提案する。 CASEはイベント駆動アーキテクチャを実装しており、参加者の反応、外部データ、時間的条件、進化中のユーザ状態に基づくリアルタイム適応を可能にする。 ケースは、さまざまな領域にまたがって展開され、国家の疾病監視プラットフォームに電力を供給し、政治イベント中のリアルタイムの感情分析を可能にした。
  論文  参考訳（メタデータ） (2025-05-29T14:56:26Z)
• Digital Asset Data Lakehouse. The concept based on a blockchain research center [0.0]
  本稿では、堅牢でスケーラブルでセキュアなデータ管理プラットフォームへの需要を満たすために設計された、新しいソフトウェアアーキテクチャを紹介する。 我々は、そのコンポーネントやインタラクションを含むアーキテクチャ設計の詳細を説明し、ブロックチェーンデータとデジタル資産の管理における一般的な課題にどのように対処するかを議論する。 この結果から,提案アーキテクチャは分散データ管理の効率性とスケーラビリティを向上するだけでなく,研究領域におけるイノベーションの新たな道を開くことが示唆された。
  論文  参考訳（メタデータ） (2025-03-20T09:12:39Z)
• Deep Learning Approaches for Anti-Money Laundering on Mobile Transactions: Review, Framework, and Directions [51.43521977132062]
  マネーロンダリング(英: Money laundering)は、不正資金の起源を隠蔽する金融犯罪である。 モバイル決済プラットフォームとスマートIoTデバイスの普及は、マネーロンダリング対策をかなり複雑にしている。 本稿では,AMLにおけるディープラーニングソリューションとその利用に関する課題について,包括的レビューを行う。
  論文  参考訳（メタデータ） (2025-03-13T05:19:44Z)
• From Objects to Events: Unlocking Complex Visual Understanding in Object Detectors via LLM-guided Symbolic Reasoning [71.41062111470414]
  オープンボキャブラリ検出器を用いたプラグアンドプレイフレームワークインタフェースの提案。 提案手法は, 検出された実体間の関係パターンを探索する記号的回帰機構を組み合わせたものである。 トレーニング不要のフレームワークを、さまざまなアプリケーションドメインにまたがる特別なイベント認識システムと比較した。
  論文  参考訳（メタデータ） (2025-02-09T10:30:54Z)
• InfraLib: Enabling Reinforcement Learning and Decision-Making for Large-Scale Infrastructure Management [1.0499611180329806]
  InfraLibは、インフラ管理の問題をモデリングし分析するためのオープンソースのモジュラーフレームワークである。 階層的で劣化したモデルを実装し、現実的な部分的な可観測性をサポートし、実用的な制約を処理する。 InfraLibは、専門家データ収集とポリシー評価のためのツールとともに、意思決定アプローチのベンチマークのための標準化された環境を提供する。
  論文  参考訳（メタデータ） (2024-09-05T01:54:29Z)
• Earth System Data Cubes: Avenues for advancing Earth system research [4.408949931570938]
  地球系データキューブ(ESDC)は、このデータの洪水をシンプルで堅牢なフォーマットに変換するのに適したソリューションの1つとして登場した。 ESDCは、データをテンポラリグリッドを備えた分析可能なフォーマットに整理することで、これを実現している。 新たなクラウドベースの技術に照らして、データの潜在能力を最大限に実現するための障壁がある。
  論文  参考訳（メタデータ） (2024-08-05T09:50:16Z)
• Object Detectors in the Open Environment: Challenges, Solutions, and Outlook [95.3317059617271]
  オープン環境のダイナミックで複雑な性質は、オブジェクト検出器に新しくて恐ろしい挑戦をもたらす。 本稿では,オープン環境におけるオブジェクト検出器の総合的なレビューと解析を行う。 データ/ターゲットの変化の次元に基づいて、4つの四分法(ドメイン外、カテゴリ外、堅牢な学習、漸進的な学習)を含むフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-24T19:32:39Z)
• LargeST: A Benchmark Dataset for Large-Scale Traffic Forecasting [65.71129509623587]
  道路交通予測はスマートシティのイニシアチブにおいて重要な役割を担い、ディープラーニングの力によって大きな進歩を遂げている。 しかし、現在の公開データセットで達成される有望な結果は、現実的なシナリオには適用できないかもしれない。 カリフォルニアで合計8,600のセンサーと5年間の時間カバレッジを含む、LargeSTベンチマークデータセットを紹介します。
  論文  参考訳（メタデータ） (2023-06-14T05:48:36Z)
• Mining Drifting Data Streams on a Budget: Combining Active Learning with Self-Labeling [6.436899373275926]
  本稿では,アクティブラーニングと自己ラベルによる情報を組み合わせることで,ドリフトするデータストリームを予算でマイニングする新しいフレームワークを提案する。 我々は,概念ドリフトの可能性を考慮して,インテリジェントなインスタンス選択と半教師付き手順の両方を活用できる戦略をいくつか導入する。
  論文  参考訳（メタデータ） (2021-12-21T07:19:35Z)
• FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
  我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。 我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。 その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
  論文  参考訳（メタデータ） (2021-09-01T00:08:14Z)
• MultiBench: Multiscale Benchmarks for Multimodal Representation Learning [87.23266008930045]
  MultiBenchは15のデータセット、10のモダリティ、20の予測タスク、6の研究領域にまたがる、体系的で統一されたベンチマークである。 データローディング、実験的なセットアップ、モデル評価を簡素化し、標準化する、エンドツーエンドの自動機械学習パイプラインを提供する。 大規模なマルチモーダルデータセットに対するロバストネスや、現実的な不完全性に対するロバストネスなど、将来の研究に対する影響の高い課題が紹介されている。
  論文  参考訳（メタデータ） (2021-07-15T17:54:36Z)
• Beyond Privacy Trade-offs with Structured Transparency [3.5087540566347513]
  これらの懸念の多くは「コピー問題」に還元されていると論じる。 コピー問題は解けないが、これらの増幅問題の側面は様々な非連結フィールドで解決されている。 我々は、これらの取り組みを特定の機能にグループ化し、"構造化透明性"と呼ばれる包括的なビジョンに統合するための基盤を提供する5つのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T15:03:25Z)
• Synthetic Data: Opening the data floodgates to enable faster, more directed development of machine learning methods [96.92041573661407]
  機械学習における画期的な進歩の多くは、大量のリッチデータを利用できることに起因する。 多くの大規模データセットは、医療データなど高度に敏感であり、機械学習コミュニティでは広く利用できない。 プライバシー保証で合成データを生成することは、そのようなソリューションを提供します。
  論文  参考訳（メタデータ） (2020-12-08T17:26:10Z)
• KrakN: Transfer Learning framework for thin crack detection in infrastructure maintenance [0.0]
  現在適用されている手法は時代遅れで、労働集約的で不正確である。 我々は、これらの制限要因を克服するために、カスタムメイドフレームワーク -- KrakN を活用することを提案する。 これにより、デジタル画像上のユニークなインフラストラクチャ欠陥検出装置の開発が可能になり、90%以上の精度を達成することができる。
  論文  参考訳（メタデータ） (2020-04-26T09:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。