論文の概要: Graph Relation Distillation for Efficient Biomedical Instance Segmentation

• arxiv url: http://arxiv.org/abs/2401.06370v1
• Date: Fri, 12 Jan 2024 04:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 20:34:26.261538
• Title: Graph Relation Distillation for Efficient Biomedical Instance Segmentation
• Title（参考訳）: 効率的なバイオメディカルインスタンスセグメンテーションのためのグラフ関係蒸留法
• Authors: Xiaoyu Liu, Yueyi Zhang, Zhiwei Xiong, Wei Huang, Bo Hu, Xiaoyan Sun, Feng Wu
• Abstract要約: 本稿では,効率的なバイオメディカル・インスタンス・セグメンテーションのためのグラフ関係蒸留手法を提案する。 画像内レベルと画像間レベルの両方に展開する2つのグラフ蒸留方式を導入する。 多くのバイオメディカルデータセットの実験結果から,本手法の有効性が検証された。
• 参考スコア（独自算出の注目度）: 80.51124447333493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instance-aware embeddings predicted by deep neural networks have revolutionized biomedical instance segmentation, but its resource requirements are substantial. Knowledge distillation offers a solution by transferring distilled knowledge from heavy teacher networks to lightweight yet high-performance student networks. However, existing knowledge distillation methods struggle to extract knowledge for distinguishing instances and overlook global relation information. To address these challenges, we propose a graph relation distillation approach for efficient biomedical instance segmentation, which considers three essential types of knowledge: instance-level features, instance relations, and pixel-level boundaries. We introduce two graph distillation schemes deployed at both the intra-image level and the inter-image level: instance graph distillation (IGD) and affinity graph distillation (AGD). IGD constructs a graph representing instance features and relations, transferring these two types of knowledge by enforcing instance graph consistency. AGD constructs an affinity graph representing pixel relations to capture structured knowledge of instance boundaries, transferring boundary-related knowledge by ensuring pixel affinity consistency. Experimental results on a number of biomedical datasets validate the effectiveness of our approach, enabling student models with less than $ 1\%$ parameters and less than $10\%$ inference time while achieving promising performance compared to teacher models.
• Abstract（参考訳）: ディープニューラルネットワークによって予測されるインスタンス認識の埋め込みは、バイオメディカルなインスタンスセグメンテーションに革命をもたらしたが、そのリソース要求はかなり大きい。 知識蒸留は、重い教師ネットワークからの蒸留知識を軽量で高性能な学生ネットワークに移すことで解決策を提供する。 しかし, 既存の知識蒸留法では, インスタンスを識別する知識の抽出に苦慮し, グローバルな関係情報を見落としている。 これらの課題に対処するために,我々は,インスタンスレベルの特徴,インスタンス関係,ピクセルレベルの境界という3つの基本的な知識を考慮した,効率的な生物医学的インスタンス分割のためのグラフ関係蒸留手法を提案する。 画像内レベルと画像間レベルの両方に展開する2つのグラフ蒸留スキームを導入する:インスタンスグラフ蒸留(igd)とアフィニティグラフ蒸留(agd)。 IGDは、インスタンスの特徴と関係を表すグラフを構築し、これらの2種類の知識をインスタンスグラフの一貫性を強制することによって転送する。 AGDは、画素関係を表す親和性グラフを構築し、インスタンス境界の構造化された知識をキャプチャし、画素親和性整合性を保証することによって境界関連知識を転送する。 多くのバイオメディカルデータセットによる実験結果から, 提案手法の有効性を検証し, 教師モデルと比較して有望な性能を達成しつつ, 1 %$パラメータ未満, 10 %$推論時間未満の学生モデルを実現することができた。

関連論文リスト

• Exploring Graph-based Knowledge: Multi-Level Feature Distillation via Channels Relational Graph [8.646512035461994]
  視覚的なタスクでは、大きな教師モデルは重要な特徴と深い情報を取得し、パフォーマンスを向上する。 マルチレベル特徴アライメント戦略を含むグラフ知識に基づく蒸留フレームワークを提案する。 蒸留工程におけるスペクトル埋め込み (SE) は, 学生の特徴空間と教師ネットワークに類似した関係知識と構造的複雑さを融合させる重要な手法である。
  論文  参考訳（メタデータ） (2024-05-14T12:37:05Z)
• Visual Commonsense based Heterogeneous Graph Contrastive Learning [79.22206720896664]
  視覚的推論タスクをより良く仕上げるための異種グラフコントラスト学習法を提案する。 本手法はプラグイン・アンド・プレイ方式として設計されており,多種多様な代表手法と迅速かつ容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2023-11-11T12:01:18Z)
• Graph Relation Aware Continual Learning [3.908470250825618]
  連続グラフ学習(CGL)は、無限のグラフデータストリームから学習する問題を研究する。 我々は、縁の裏側にある潜伏関係を探索する関係発見モジュールからなるRAM-CGと呼ばれる関係認識適応モデルを設計する。 RAM-CGはCitationNet、OGBN-arxiv、TWITCHデータセットの最先端結果に対して2.2%、6.9%、および6.6%の精度向上を提供する。
  論文  参考訳（メタデータ） (2023-08-16T09:53:20Z)
• Knowledge Distillation via Token-level Relationship Graph [12.356770685214498]
  token-level Relation Graph (TRG) を用いた知識蒸留法を提案する。 TRGを利用することで、教師モデルから高レベルの意味情報を効果的にエミュレートすることができる。 我々は,提案手法の有効性を,いくつかの最先端手法に対して評価する実験を行った。
  論文  参考訳（メタデータ） (2023-06-20T08:16:37Z)
• Graph-based Knowledge Distillation: A survey and experimental evaluation [4.713436329217004]
  既存のグラフニューラルネットワーク(GNN)を強化するために知識蒸留(KD)が導入されている。 KDは、予測性能を維持しながら、大きな教師モデルのソフトレーベルの監督を小学生モデルに移行することを含む。 本稿ではまず,グラフとKDの背景について紹介し,その上で3種類の知識蒸留法について概説する。
  論文  参考訳（メタデータ） (2023-02-27T11:39:23Z)
• Heterogeneous Graph Neural Networks using Self-supervised Reciprocally Contrastive Learning [102.9138736545956]
  不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。 我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。 この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
  論文  参考訳（メタデータ） (2022-04-30T12:57:02Z)
• Graph Flow: Cross-layer Graph Flow Distillation for Dual-Efficient Medical Image Segmentation [0.76146285961466]
  ネットワーク効率およびアノテーション効率の良い医用画像セグメンテーションにおいて,クロスレイヤグラフフローの知識を活用するための,新しい総合的知識蒸留法であるグラフフローを提案する。 本稿では,異なるモダリティおよびマルチカテゴリの医療画像データセットに対して,最先端の性能を示す手法の顕著な性能を示す。
  論文  参考訳（メタデータ） (2022-03-16T14:56:02Z)
• Group Contrastive Self-Supervised Learning on Graphs [101.45974132613293]
  グラフ上での自己教師型学習をコントラッシブ手法を用いて研究する。 複数の部分空間におけるグラフの対比により、グラフエンコーダはより豊富な特徴を捉えることができる。
  論文  参考訳（メタデータ） (2021-07-20T22:09:21Z)
• Structured Landmark Detection via Topology-Adapting Deep Graph Learning [75.20602712947016]
  解剖学的顔と医学的ランドマーク検出のための新しいトポロジ適応深層グラフ学習手法を提案する。 提案手法は局所像特徴と大域形状特徴の両方を利用するグラフ信号を構成する。 3つの公開顔画像データセット(WFLW、300W、COFW-68)と3つの現実世界のX線医学データセット(ケパロメトリ、ハンド、ペルビス)で実験を行った。
  論文  参考訳（メタデータ） (2020-04-17T11:55:03Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。