論文の概要: Beyond Linearity: Squeeze-and-Recalibrate Blocks for Few-Shot Whole Slide Image Classification

• arxiv url: http://arxiv.org/abs/2505.15504v1
• Date: Wed, 21 May 2025 13:24:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.659959
• Title: Beyond Linearity: Squeeze-and-Recalibrate Blocks for Few-Shot Whole Slide Image Classification
• Title（参考訳）: ライナリティを超えて:スライド画像分類のためのスクイーズ・アンド・リカバリレートブロック
• Authors: Conghao Xiong, Zhengrui Guo, Zhe Xu, Yifei Zhang, Raymond Kai-Yu Tong, Si Yong Yeo, Hao Chen, Joseph J. Y. Sung, Irwin King,
• Abstract要約: Squeeze-and-Recalibrate (SR) ブロックを提案する。 SRブロックが任意の精度で任意の線形写像を近似できることを理論的に保証する。 我々のSR-MILモデルは、パラメータが大幅に少なく、アーキテクチャ上の変更も不要ながら、先行メソッドよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 35.6247241174615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has advanced computational pathology but expert annotations remain scarce. Few-shot learning mitigates annotation burdens yet suffers from overfitting and discriminative feature mischaracterization. In addition, the current few-shot multiple instance learning (MIL) approaches leverage pretrained vision-language models to alleviate these issues, but at the cost of complex preprocessing and high computational cost. We propose a Squeeze-and-Recalibrate (SR) block, a drop-in replacement for linear layers in MIL models to address these challenges. The SR block comprises two core components: a pair of low-rank trainable matrices (squeeze pathway, SP) that reduces parameter count and imposes a bottleneck to prevent spurious feature learning, and a frozen random recalibration matrix that preserves geometric structure, diversifies feature directions, and redefines the optimization objective for the SP. We provide theoretical guarantees that the SR block can approximate any linear mapping to arbitrary precision, thereby ensuring that the performance of a standard MIL model serves as a lower bound for its SR-enhanced counterpart. Extensive experiments demonstrate that our SR-MIL models consistently outperform prior methods while requiring significantly fewer parameters and no architectural changes.
• Abstract（参考訳）: ディープラーニングには高度な計算病理があるが、専門家のアノテーションは乏しい。 ほとんどショット学習は、アノテーションの負担を軽減するが、過度な適合と差別的な特徴の誤評価に苦しむ。 さらに、現在のMIL(Multiple Case Learning)アプローチでは、トレーニング済みの視覚言語モデルを利用してこれらの問題を緩和しているが、複雑な前処理と高い計算コストがかかる。 本稿では,これらの課題に対処するために,MILモデルにおける線形層へのドロップイン置換であるSqueeze-and-Recalibrate(SR)ブロックを提案する。 SRブロックは、パラメータカウントを減らし、刺激的な特徴学習を防止するボトルネックを課す低ランクトレーニング可能な行列(スキューズパス、SP)と、幾何学構造を保存し、特徴方向を多様化し、SPの最適化目標を再定義する凍結ランダム校正行列の2つのコアコンポーネントからなる。 我々は、SRブロックが任意の精度で線形写像を近似できることを理論的に保証し、それによって標準MILモデルの性能がそのSR強化されたモデルよりも低い境界として機能することを保証する。 大規模な実験により、我々のSR-MILモデルは、パラメータが大幅に少なく、アーキテクチャ上の変更も不要ながら、先行手法よりも一貫して優れていることが示された。

関連論文リスト

• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
  パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。 キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
  論文  参考訳（メタデータ） (2024-02-26T05:51:47Z)
• Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
  我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。 我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
  論文  参考訳（メタデータ） (2023-07-05T13:52:10Z)
• Reduction of the Number of Variables in Parametric Constrained Least-Squares Problems [0.20305676256390928]
  本稿では,関連する最適化変数数を削減する手法を提案する。 本稿では, 非線形ベンチマークプロセスの数値実験および線形化MPC問題において, 提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-18T18:26:40Z)
• Deep Low-rank plus Sparse Network for Dynamic MR Imaging [18.09395940969876]
  動的MR再構成のためのモデルベース低ランク+スパースネットワークL+S-Netを提案する。 振り返りおよび将来的な心血管データセットの実験により、提案モデルは最先端のCSおよび既存のディープラーニング手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-26T15:55:24Z)
• Revisiting minimum description length complexity in overparameterized models [38.21167656112762]
  本稿では,線形モデルとカーネル手法に対するMDL-COMPの広範な理論的特性について述べる。 カーネル法では,MDL-COMPがサンプル内誤差を最小化し,入力の次元が増加するにつれて減少することを示す。 また、MDL-COMPがサンプル内平均二乗誤差(MSE)を束縛していることも証明する。
  論文  参考訳（メタデータ） (2020-06-17T22:45:14Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。