論文の概要: Decoupled I/O-Dominant Pipelines for Large-Scale Whole-Slide Image Embedding Extraction
- arxiv url: http://arxiv.org/abs/2608.27278v1
- Date: Thu, 27 Aug 2026 15:53:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.476761
- Title: Decoupled I/O-Dominant Pipelines for Large-Scale Whole-Slide Image Embedding Extraction
- Title(参考訳): 大規模全スライディング画像埋め込み抽出のためのデカップリングI/Oドミナントパイプライン
- Abstract要約: WSI(Whole-Slide Image)は計算病理の中心であるが、パッチベースの処理を基礎モデル推論の実践単位にしている。
ワークフローを3段階に分解する大規模なWSI埋め込み抽出のための分離されたI/O対応パイプラインを提示する。
この設計は、データ移動を計算から分離し、効率的なパッチ配信を可能にし、最小限の通信でスケーラブルなマルチノード推論を可能にする。
- 参考スコア(独自算出の注目度): 12.996943804893661
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Whole-slide images (WSIs) are central to computational pathology but are prohibitively large, making patch-based processing the practical unit for foundation model inference. At scale, however, generating and handling massive numbers of patches on quickly introduces significant I/O and orchestration overhead, often dominating end-to-end performance. We present a decoupled, I/O-aware pipeline for large-scale WSI embedding extraction that decomposes the workflow into three stages: (1) patch generation and staging, (2) embarrassingly parallel embedding inference, and (3) sharded vector database ingestion. This design isolates data movement from compute, enabling efficient patch delivery, scalable multi-node inference with minimal communication. The resulting system produces a distributed vector database where embeddings are persistently coupled with rich metadata (e.g., patient, slide, and patch attributes), enabling efficient filtering, retrieval, and downstream reuse. This representation database is compact and reusable for tasks such as retrieval, classification, and few-shot learning, particularly benefiting low-resource environments. We show that decoupling I/O, computation, and ingestion enables high-throughput WSI embedding extraction at scale. By characterizing the scaling envelope, we demonstrate that storage dominates beyond moderate concurrency, reframing WSI embedding extraction as a data-centric systems problem rather than a purely compute-bound workload.
- Abstract(参考訳): WSI(Whole-Slide Image)は計算病理の中心であるが、パッチベースの処理を基礎モデル推論の実践単位にしている。
しかし、大規模な場合、大量のパッチを素早く生成して処理することで、大きなI/Oとオーケストレーションのオーバーヘッドが発生し、エンドツーエンドのパフォーマンスを支配します。
大規模WSI埋め込み抽出のための分離されたI/O対応パイプラインを,(1)パッチ生成とステージング,(2)恥ずかしく並列な埋め込み推論,(3)シャードベクターデータベースの取り込みの3段階に分解する。
この設計は、データ移動を計算から分離し、効率的なパッチ配信を可能にし、最小限の通信でスケーラブルなマルチノード推論を可能にする。
得られたシステムは、埋め込みがリッチなメタデータ(例えば、患者、スライド、パッチ属性)と永続的に結合された分散ベクトルデータベースを生成し、効率的なフィルタリング、検索、下流の再利用を可能にする。
この表現データベースは、検索、分類、少数ショット学習といったタスクのためにコンパクトで再利用可能なものであり、特に低リソース環境において有用である。
I/O, 計算, 摂取の分離により, 大規模にWSIを埋め込むことができることを示す。
スケーリングのエンベロープを特徴付けることで、純粋に計算バウンドなワークロードではなく、データ中心のシステム問題としてWSI埋め込み抽出を考慮し、ストレージが適度な並行性を超えることを実証する。
関連論文リスト
- Scaling Interpretable Transformers with Parity Bottleneck Layers [0.0]
GPT-2スケールアーキテクチャを導入し、中間表現は設計によって効率的で広小である。
Deep Parity Bottleneck (DPB) は、学習されたオーバーコンプリート基底をパラメータフリー代数辞書に置き換える。
ParityTransformerの機能は、モデルフォワードがコンストラクションによって通過するのにネイティブであり、SAEsプローブが計算時に実際に使用する機能に対処する。
論文 参考訳(メタデータ) (2026-07-22T18:25:16Z) - Faster or Stronger: Towards Flexible Visual Place Recognition via Weighted Aggregation and Token Pruning [27.4981354426677]
ビジュアルプレース認識(VPR)は、大規模データベース内の同じ場所の参照画像とクエリイメージをマッチングすることを目的としている。
自己蒸留による特徴抽出コストを削減するVPR指向のトークンプルーニングフレームワークであるWeiToPを紹介する。
WeiToPは、推論時にプラグアンドプレイトークンのプルーニングを可能にし、追加のトレーニングなしで正確性と効率のトレードオフを柔軟かつオンデマンドに制御できる。
論文 参考訳(メタデータ) (2026-05-19T23:01:57Z) - SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。
本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。
ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2026-01-05T21:02:49Z) - Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds [83.39320394656855]
LiDARポイントクラウドは、様々なアプリケーションに基本的だが、高精度スキャンは、かなりのストレージと送信オーバーヘッドを発生させる。
既存の手法では、非順序の点を階層的なオクツリーやボクセル構造に変換して、密度から疎い予測符号化を行うのが一般的である。
筆者らのフレームワークは2つの軽量モジュールから構成されている。まず、Geometry Re-Densification Moduleがエンコードされたスパース幾何を再認識し、より密なスケールで特徴を抽出し、予測符号化のための特徴を再分離する。
論文 参考訳(メタデータ) (2025-08-28T06:36:10Z) - PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection [68.8373788348678]
ビジュアルインストラクションチューニングは、事前訓練されたマルチモーダル大言語モデルに人間の指示に従うように適応する。
PRISMは、効率的な視覚的命令選択のための最初のトレーニング不要のフレームワークである。
データ選択とモデルチューニングのエンドツーエンドの時間を従来のパイプラインの30%に短縮する。
論文 参考訳(メタデータ) (2025-02-17T18:43:41Z) - FLARES: Fast and Accurate LiDAR Multi-Range Semantic Segmentation [52.89847760590189]
3Dシーンの理解は、自動運転における重要な課題である。
近年の手法では、レンジビュー表現を利用して処理効率を向上している。
範囲ビューに基づくLiDARセマンティックセマンティックセグメンテーションのためのワークフローを再設計する。
論文 参考訳(メタデータ) (2025-02-13T12:39:26Z) - Efficiently Expanding Receptive Fields: Local Split Attention and Parallel Aggregation for Enhanced Large-scale Point Cloud Semantic Segmentation [7.199090922071512]
本研究では,複数の局所分割操作を通じて受容領域を効果的に拡張するLSAP機構を提案する。
本研究では,大規模クラウドセマンティックセマンティックセグメンテーションのための新しいフレームワークLSNetを提案する。
LSNetは3つのベンチマークデータセット上の最先端セマンティックセグメンテーションネットワークよりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-09-03T07:10:20Z) - UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。
我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。
Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
論文 参考訳(メタデータ) (2022-12-08T18:59:57Z) - CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point
Cloud Learning [81.85951026033787]
この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。
また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。
提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
論文 参考訳(メタデータ) (2022-07-31T21:39:15Z) - Learning to Aggregate Multi-Scale Context for Instance Segmentation in
Remote Sensing Images [28.560068780733342]
特徴抽出のプロセスを改善するために,新しいコンテキスト集約ネットワーク(CATNet)を提案する。
提案モデルは,高密度特徴ピラミッドネットワーク(DenseFPN),空間コンテキストピラミッド(SCP),階層的関心抽出器(HRoIE)の3つの軽量プラグアンドプレイモジュールを利用する。
論文 参考訳(メタデータ) (2021-11-22T08:55:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。