論文の概要: Larger than memory image processing

• arxiv url: http://arxiv.org/abs/2601.18407v1
• Date: Mon, 26 Jan 2026 12:02:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.811375
• Title: Larger than memory image processing
• Title（参考訳）: メモリ画像処理より大きい
• Authors: Jon Sporring, David Stansby,
• Abstract要約: 本報告では、1.4PBの電子顕微鏡ボリュームや150TBのヒト臓器のアトラスなどのペタスケールデータセットのメモリ画像解析について述べる。 ストリーミングがデータを通過するときの構造化分析が重要であることを示す。 3Dボリュームでは、2Dスライス(ディレクトリやマルチページTIFFなど)のスタックと3Dチャンクレイアウト(Zarr/HDF5など)の2つの表現が人気である。 ディスクI/Oを最小限に抑える方法で、スライスベースのストリーミングアーキテクチャをどちらの画像表現の上に構築する方法を示す。
• 参考スコア（独自算出の注目度）: 0.7161783472741748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This report addresses larger-than-memory image analysis for petascale datasets such as 1.4 PB electron-microscopy volumes and 150 TB human-organ atlases. We argue that performance is fundamentally I/O-bound. We show that structuring analysis as streaming passes over data is crucial. For 3D volumes, two representations are popular: stacks of 2D slices (e.g., directories or multi-page TIFF) and 3D chunked layouts (e.g., Zarr/HDF5). While for a few algorithms, chunked layout on disk is crucial to keep disk I/O at a minimum, we show how the slice-based streaming architecture can be built on top of either image representation in a manner that minimizes disk I/O. This is in particular advantageous for algorithms relying on neighbouring values, since the slicing streaming architecture is 1D, which implies that there are only 2 possible sweeping orders, both of which are aligned with the order in which images are read from the disk. This is in contrast to 3D chunks, in which any sweep cannot be done without accessing each chunk at least 9 times. We formalize this with sweep-based execution (natural 2D/3D orders), windowed operations, and overlap-aware tiling to minimize redundant access. Building on these principles, we introduce a domain-specific language (DSL) that encodes algorithms with intrinsic knowledge of their optimal streaming and memory use; the DSL performs compile-time and run-time pipeline analyses to automatically select window sizes, fuse stages, tee and zip streams, and schedule passes for limited-RAM machines, yielding near-linear I/O scans and predictable memory footprints. The approach integrates with existing tooling for segmentation and morphology but reframes pre/post-processing as pipelines that privilege sequential read/write patterns, delivering substantial throughput gains for extremely large images without requiring full-volume residency in memory.
• Abstract（参考訳）: 本報告では、1.4PBの電子顕微鏡ボリュームや150TBのヒト臓器のアトラスなどのペタスケールデータセットのメモリ画像解析について述べる。 パフォーマンスは基本的にI/Oバウンドである、と私たちは主張します。 ストリーミングがデータを通過するときの構造化分析が重要であることを示す。 3Dボリュームでは、2Dスライス(例:ディレクトリまたはマルチページTIFF)のスタックと3Dチャンクレイアウト(例:Zarr/HDF5)の2つの表現が人気である。 いくつかのアルゴリズムでは、ディスク上のチャンクレイアウトはディスクI/Oを最小限に抑えるために重要であるが、ディスクI/Oを最小限に抑える方法で、スライスベースのストリーミングアーキテクチャをどちらの画像表現の上に構築できるかを示す。 これは、スライシングストリーミングアーキテクチャが1Dであるため、近隣の値に依存するアルゴリズムにとって特に有利である。 これは3Dチャンクとは対照的に、各チャンクに少なくとも9回アクセスすることなく、どんなスイープもできない。 我々はこれをスイープベースの実行(自然な2D/3Dオーダー)、ウィンドウ操作、重複認識タイリングで形式化し、冗長アクセスを最小限に抑える。 DSLはコンパイル時および実行時のパイプライン分析を実行し、ウィンドウサイズ、フューズステージ、ティー、ジップストリームを自動的に選択し、限られたRAMマシンのスケジュールパスを生成し、ニア線形I/Oスキャンと予測可能なメモリフットプリントを生成します。 このアプローチは、セグメンテーションと形態学のための既存のツールと統合されているが、プレ/ポスト処理をパイプラインとして再構成し、シーケンシャルな読み取り/書き込みパターンを特権化する。

関連論文リスト

• ImLoc: Revisiting Visual Localization with Image-based Representation [61.282162006394934]
  本稿では,各画像に推定深度マップを付加して幾何学的構造を捉えることを提案する。 この表現は構築と維持が容易であるが、挑戦的な条件下では高い精度を達成する。 提案手法は,各種標準ベンチマークにおける新しい最先端の精度を実現し,既存のメモリ効率を同等のマップサイズで向上させる。
  論文  参考訳（メタデータ） (2026-01-07T18:51:51Z)
• DistZO2: High-Throughput and Memory-Efficient Zeroth-Order Fine-tuning LLMs with Distributed Parallel Computing [4.589472292598182]
  細調整された大規模言語モデル(LLM)は、その厳密なスケールのため、リソース集約型のままである。 LLMの分散ゼロオーダー微調整のためのメモリ効率のよいフレームワークであるDistZO2を提案する。
  論文  参考訳（メタデータ） (2025-07-03T22:53:34Z)
• LODGE: Level-of-Detail Large-Scale Gaussian Splatting with Efficient Rendering [75.67501939005119]
  メモリ制約デバイス上での3次元ガウススプラッティングのための新しいレベル・オブ・ディーテール(LOD)法を提案する。 カメラ距離に基づいてガウスの最適部分集合を反復的に選択する。 本手法は,屋外(階層型3DGS)と屋内(Zip-NeRF)の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-05-29T06:50:57Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• High-performance Data Management for Whole Slide Image Analysis in Digital Pathology [20.02220555234364]
  本稿では、アダプタブルIOシステムバージョン2(ADIOS2)を実装することで、このデータアクセス課題に取り組む取り組みについて詳述する。 CPUのシナリオでは、ADIOS2はブルートフォースのアプローチに比べて2倍のスピードアップを示している。 私たちの知る限り、これはデジタル病理学の分野でADIOS2を利用する最初の例のようだ。
  論文  参考訳（メタデータ） (2023-08-10T16:33:59Z)
• Memory-efficient Segmentation of High-resolution Volumetric MicroCT Images [11.723370840090453]
  本稿では,3次元高解像度画像分割のためのメモリ効率の高いネットワークアーキテクチャを提案する。 このネットワークは、2段階のU-netベースのカスケードフレームワークを通じて、グローバル機能とローカル機能の両方を組み込んでいる。 実験により, セグメント化精度とメモリ効率の両方の観点から, 最先端の3Dセグメンテーション法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-31T16:42:48Z)
• Parallel Discrete Convolutions on Adaptive Particle Representations of Images [2.362412515574206]
  適応粒子表現上の離散畳み込み演算子のネイティブ実装のためのデータ構造とアルゴリズムを提案する。 APRは、サンプリング解像度を画像信号に局所的に適応するコンテンツ適応型画像表現である。 APRの畳み込みは、マルチコアCPUとGPUアーキテクチャを効率的に並列化するスケール適応アルゴリズムを自然に導くことを示す。
  論文  参考訳（メタデータ） (2021-12-07T09:40:05Z)
• ASH: A Modern Framework for Parallel Spatial Hashing in 3D Perception [91.24236600199542]
  ASHは、GPU上の並列空間ハッシュのためのモダンで高性能なフレームワークである。 ASHはより高いパフォーマンスを実現し、よりリッチな機能をサポートし、より少ないコード行を必要とする。 ASHとそのサンプルアプリケーションはOpen3Dでオープンソース化されている。
  論文  参考訳（メタデータ） (2021-10-01T16:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。