論文の概要: Context Matters: Query-aware Dynamic Long Sequence Modeling of Gigapixel Images

• arxiv url: http://arxiv.org/abs/2501.18984v1
• Date: Fri, 31 Jan 2025 09:29:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:54.489171
• Title: Context Matters: Query-aware Dynamic Long Sequence Modeling of Gigapixel Images
• Title（参考訳）: 文脈問題:ギガピクセル画像のクエリ対応動的時系列モデリング
• Authors: Zhengrui Guo, Qichen Sun, Jiabo Ma, Lishuang Feng, Jinzhuo Wang, Hao Chen,
• Abstract要約: ワイルスライド画像 (WSI) 解析は, ギガピクセル画像のパッチ数が膨大であるため, 計算上の課題が顕著である。 本稿では,クエリ対応の長期コンテキスト動的モデリングフレームワークであるQuerentを提案する。 提案手法は, 微粒なパッチ相関をモデル化するためのグローバルな認識を保ちながら, 計算オーバーヘッドを劇的に低減する。
• 参考スコア（独自算出の注目度）: 4.3565203412433195
• License:
• Abstract: Whole slide image (WSI) analysis presents significant computational challenges due to the massive number of patches in gigapixel images. While transformer architectures excel at modeling long-range correlations through self-attention, their quadratic computational complexity makes them impractical for computational pathology applications. Existing solutions like local-global or linear self-attention reduce computational costs but compromise the strong modeling capabilities of full self-attention. In this work, we propose Querent, i.e., the query-aware long contextual dynamic modeling framework, which maintains the expressive power of full self-attention while achieving practical efficiency. Our method adaptively predicts which surrounding regions are most relevant for each patch, enabling focused yet unrestricted attention computation only with potentially important contexts. By using efficient region-wise metadata computation and importance estimation, our approach dramatically reduces computational overhead while preserving global perception to model fine-grained patch correlations. Through comprehensive experiments on biomarker prediction, gene mutation prediction, cancer subtyping, and survival analysis across over 10 WSI datasets, our method demonstrates superior performance compared to the state-of-the-art approaches. Code will be made available at https://github.com/dddavid4real/Querent.
• Abstract（参考訳）: ワイルスライド画像 (WSI) 解析は, ギガピクセル画像のパッチ数が膨大であるため, 計算上の課題が顕著である。 トランスフォーマーアーキテクチャは、自己注意による長距離相関のモデリングに優れているが、その2次計算複雑性は、計算病理学の応用には実用的ではない。 ローカル・グローバルやリニア・セルフアテンションのような既存のソリューションは計算コストを削減するが、完全な自己アテンションの強力なモデリング能力を損なう。 本研究では,クエリを意識した長期コンテキスト動的モデリングフレームワークであるQuerentを提案する。 提案手法は,各パッチに最も関連性の高い周辺領域を適応的に予測し,潜在的に重要なコンテキストでのみ集中的かつ制約のない注意計算を可能にする。 提案手法は,効率的な地域メタデータ計算と重要度推定により,微粒なパッチ相関をモデル化するためのグローバルな認識を保ちながら,計算オーバーヘッドを劇的に削減する。 バイオマーカー予測,遺伝子変異予測,癌サブタイプ解析,および10以上のWSIデータセットの生存解析に関する総合的な実験を通じて,本手法は最先端のアプローチと比較して優れた性能を示す。 コードはhttps://github.com/dddavid4real/Querent.comで公開される。

関連論文リスト

• A Comparative Study on Dynamic Graph Embedding based on Mamba and Transformers [0.29687381456164]
  本研究では,変圧器と最近提案されたMambaアーキテクチャを用いた動的グラフ埋め込み手法の比較解析を行った。 グラフ畳み込みネットワークを用いたTransformerG2G Augment、グラフ同型ネットワークエッジ畳み込みを用いたDG-Mamba、GDG-Mambaの3つの新しいモデルを導入する。 複数のベンチマークデータセットに対する実験により,Mambaベースのモデルが,リンク予測タスクにおけるトランスフォーマーベースのアプローチに匹敵する,あるいは優れた性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2024-12-15T19:56:56Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Rethinking Transformer for Long Contextual Histopathology Whole Slide Image Analysis [9.090504201460817]
  ヒストホイルスライド画像(英語版)(WSI)解析は、医師の日常業務における臨床がん診断のゴールドスタンダードとなっている。 従来の手法では、スライドレベルラベルのみを与えられたスライドレベルの予測を可能にするために、マルチパスラーニングが一般的であった。 大規模なWSIにおける長いシーケンスの計算複雑性を軽減するため、HIPTではリージョンスライシング、TransMILでは完全な自己アテンションの近似を採用している。
  論文  参考訳（メタデータ） (2024-10-18T06:12:36Z)
• Adaptive Masking Enhances Visual Grounding [12.793586888511978]
  ローショット学習シナリオにおける語彙接地を改善するために,ガウス放射変調を用いた画像解釈型マスキングを提案する。 我々はCOCOやODinWを含むベンチマークデータセットに対するアプローチの有効性を評価し、ゼロショットタスクや少数ショットタスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-04T05:48:02Z)
• Discovering symbolic expressions with parallelized tree search [59.92040079807524]
  記号回帰は、データから簡潔で解釈可能な数学的表現を発見する能力のおかげで、科学研究において重要な役割を果たす。 既存のアルゴリズムは、複雑性の問題に対処する際の精度と効率の重要なボトルネックに直面してきた。 本稿では,限定データから汎用数学的表現を効率的に抽出する並列木探索(PTS)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-05T10:41:15Z)
• PMFSNet: Polarized Multi-scale Feature Self-attention Network For Lightweight Medical Image Segmentation [6.134314911212846]
  現在の最先端の医用画像分割法は精度を優先するが、計算要求の増大とより大きなモデルサイズを犠牲にすることも多い。 計算冗長性を避けつつグローバルな局所特徴処理のバランスをとる新しい医用画像分割モデルPMFSNetを提案する。 長期依存関係をキャプチャするために,アテンション機構に基づいたマルチスケール機能拡張モジュールであるPMFSブロックをプラグインとして組み込んでいる。
  論文  参考訳（メタデータ） (2024-01-15T10:26:47Z)
• Interpreting and Improving Attention From the Perspective of Large Kernel Convolution [51.06461246235176]
  本稿では,LKCA(Large Kernel Convolutional Attention)について紹介する。 LKCAは、特にデータ制約のある設定において、様々な視覚的タスク間での競合性能を達成する。
  論文  参考訳（メタデータ） (2024-01-11T08:40:35Z)
• A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
  現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。 本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。 提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
  論文  参考訳（メタデータ） (2023-11-03T17:29:46Z)
• Low-Resolution Self-Attention for Semantic Segmentation [93.30597515880079]
  我々は,グローバルコンテキストを計算コストの大幅な削減で捉えるために,低解像度自己認識(LRSA)機構を導入する。 我々のアプローチは、入力画像の解像度に関わらず、固定された低解像度空間における自己注意を計算することである。 本稿では,エンコーダ・デコーダ構造を持つビジョントランスであるLRFormerを構築することで,LRSA手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-10-08T06:10:09Z)
• Joint Graph Learning and Model Fitting in Laplacian Regularized Stratified Models [5.933030735757292]
  ラプラシア正規化成層モデル(Laplacian regularized Stratified Model、LRSM)は、サブプロブレムの明示的または暗黙的なネットワーク構造を利用するモデルである。 本稿では,LRSMにおけるグラフ重みの重要性と感度を示し,その感度が任意に大きいことを示す。 本稿では,1つの最適化問題を解くことで,モデルパラメータを適合させながらグラフを共同学習する汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T06:06:29Z)
• AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
  本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。 AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。 我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
  論文  参考訳（メタデータ） (2023-03-01T23:37:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。