論文の概要: Low-latency Visual Previews of Large Synchrotron Micro-CT Datasets
- arxiv url: http://arxiv.org/abs/2311.15038v1
- Date: Sat, 25 Nov 2023 14:24:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 22:20:25.313569
- Title: Low-latency Visual Previews of Large Synchrotron Micro-CT Datasets
- Title(参考訳): 大型シンクロトロンマイクロctデータセットの低遅延視覚プレビュー
- Authors: Nicholas Tan Jerome, Suren Chilingaryan, Thomas van de Kamp, Andreas
Kopmann
- Abstract要約: 本研究では,データサイズをギガバイトからメガバイトに拡大し,マイクロCTデータセットをリアルタイムで配信する手法を提案する。
我々の実証では、節足動物の幾何学的情報を妥協することなく、データセットをメガバイト範囲に縮小できることが証明された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The unprecedented rate at which synchrotron radiation facilities are
producing micro-computed (micro-CT) datasets has resulted in an overwhelming
amount of data that scientists struggle to browse and interact with in
real-time. Thousands of arthropods are scanned into micro-CT within the NOVA
project, producing a large collection of gigabyte-sized datasets. In this work,
we present methods to reduce the size of this data, scaling it from gigabytes
to megabytes, enabling the micro-CT dataset to be delivered in real-time. In
addition, arthropods can be identified by scientists even after implementing
data reduction methodologies. Our initial step is to devise three distinct
visual previews that comply with the best practices of data exploration.
Subsequently, each visual preview warrants its own design consideration,
thereby necessitating an individual data processing pipeline for each. We aim
to present data reduction algorithms applied across the data processing
pipelines. Particularly, we reduce size by using the multi-resolution
slicemaps, the server-side rendering, and the histogram filtering approaches.
In the evaluation, we examine the disparities of each method to identify the
most favorable arrangement for our operation, which can then be adjusted for
other experiments that have comparable necessities. Our demonstration proved
that reducing the dataset size to the megabyte range is achievable without
compromising the arthropod's geometry information.
- Abstract(参考訳): シンクロトロン放射施設がマイクロ計算(マイクロct)データセットを生産する前例のない速度は、科学者がリアルタイムで閲覧したり対話したりするのに苦労する膨大なデータを生み出した。
何千もの節足動物がNOVAプロジェクトの中で微小CTにスキャンされ、大量のギガバイトサイズのデータセットが生成される。
本研究では,データサイズをギガバイトからメガバイトに拡大し,マイクロCTデータセットをリアルタイムで配信する手法を提案する。
加えて、節足動物はデータ還元手法を実装した後でも科学者によって識別できる。
最初のステップは、データ探索のベストプラクティスに従う3つの異なるビジュアルプレビューを開発することです。
その後、各ビジュアルプレビューは独自の設計上の考慮事項を保証し、個々のデータ処理パイプラインを必要とする。
データ処理パイプラインに適用されるデータ削減アルゴリズムを提案することを目的としている。
特に,マルチレゾリューションスライスマップ,サーバサイドレンダリング,ヒストグラムフィルタリングアプローチを用いて,サイズを小さくする。
評価では,各手法の相違を検証し,操作に最も適した配置を同定し,これと同等の必要条件を持つ他の実験に対して調整することができる。
実験の結果,arthropodの幾何情報を妥協することなく,データセットサイズをメガバイトの範囲に縮小できることが証明された。
関連論文リスト
- Rethinking Transformers Pre-training for Multi-Spectral Satellite
Imagery [78.43828998065071]
教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。
このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。
本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
論文 参考訳(メタデータ) (2024-03-08T16:18:04Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳(メタデータ) (2023-08-21T07:24:29Z) - Leveraging generative adversarial networks to create realistic scanning
transmission electron microscopy images [2.5954872177280346]
機械学習は、自律的なデータ収集と処理を通じて材料研究に革命をもたらす可能性がある。
我々は,実空間周波数情報を用いたシミュレーションデータを増大させるために,相互空間判別器を備えたサイクル生成逆数ネットワーク(CycleGAN)を用いる。
完全な畳み込みネットワーク(FCN)をトレーニングして、450万個の原子データセット内の単一原子欠陥を同定することで、我々のアプローチを実証する。
論文 参考訳(メタデータ) (2023-01-18T19:19:27Z) - Dataset Condensation with Latent Space Knowledge Factorization and
Sharing [73.31614936678571]
与えられたデータセットの規則性を利用してデータセットの凝縮問題を解決する新しい手法を提案する。
データセットを元の入力空間に直接凝縮するのではなく、学習可能な一連のコードでデータセットの生成プロセスを仮定する。
提案手法は,様々なベンチマークデータセットに対して,有意なマージンで新しい最先端記録を達成できることを実験的に示す。
論文 参考訳(メタデータ) (2022-08-21T18:14:08Z) - Towards Data-Efficient Detection Transformers [77.43470797296906]
我々は、ほとんどの検出トランスフォーマーが、小さなデータセットで大きなパフォーマンス低下に悩まされていることを示す。
我々はデータ効率に影響を与える要因を、データ効率のRCNNから代表DETRへのステップバイステップ遷移によって実証的に分析する。
本稿では,よりリッチな監視とデータ効率向上を目的とした,シンプルながら効果的なラベル拡張手法を提案する。
論文 参考訳(メタデータ) (2022-03-17T17:56:34Z) - Scalable semi-supervised dimensionality reduction with GPU-accelerated
EmbedSOM [0.0]
BlosSOMは高次元データセットの対話型ユーザステアブル可視化のための高性能半教師付き次元減少ソフトウェアである。
現実的なデータセットにBlosSOMを適用することで、ユーザが指定したレイアウトを組み込んだ高品質な視覚化と、特定の機能に集中することが可能になる。
論文 参考訳(メタデータ) (2022-01-03T15:06:22Z) - Generation of microbial colonies dataset with deep learning style
transfer [0.0]
深層学習モデルの学習に使用できるペトリ料理の微生物学的画像の合成データセットを作成するための戦略を導入する。
本手法は, 5種類の微生物の局在, セグメンテーション, 分類が可能なニューラルネットワークモデルのトレーニングに使用できる, リアルな画像のデータセットを合成できることを示す。
論文 参考訳(メタデータ) (2021-11-06T03:11:01Z) - Sketch and Scale: Geo-distributed tSNE and UMAP [75.44887265789056]
地理的に分散したデータセット上で機械学習分析を実行することは、急速に発生する問題である。
私たちはSketch and Scale(SnS)という新しいフレームワークを紹介します。
これはCount Sketchデータ構造を利用して、エッジノード上のデータを圧縮し、マスターノード上の縮小サイズスケッチを集約し、サマリ上でバニラtSNEまたはUMAPを実行する。
我々は、この技術が完全に並列で、線形に時間にスケールし、メモリに対数的に分散し、通信し、世界中の複数のデータセンターにまたがる数百万、数十億のデータポイントでデータセットを解析できることを示す。
論文 参考訳(メタデータ) (2020-11-11T22:32:21Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z) - Performance Analysis of Semi-supervised Learning in the Small-data
Regime using VAEs [0.261072980439312]
そこで本研究では,データ空間の潜在空間表現を事前学習した既存のアルゴリズムを用いて,データ構造入力の低次元の特徴を抽出する手法を提案する。
微調整された潜在空間は、分類に有用な一定の重みを与える。
ここでは、半教師付き学習において、遅延空間サイズが異なるVAEアルゴリズムの性能解析について述べる。
論文 参考訳(メタデータ) (2020-02-26T16:19:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。