論文の概要: Cross-domain and Cross-dimension Learning for Image-to-Graph Transformers

• arxiv url: http://arxiv.org/abs/2403.06601v1
• Date: Mon, 11 Mar 2024 10:48:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-12 19:22:17.939119
• Title: Cross-domain and Cross-dimension Learning for Image-to-Graph Transformers
• Title（参考訳）: 画像-グラフ変換器のクロスドメインとクロス次元学習
• Authors: Alexander H. Berger, Laurin Lux, Suprosanna Shit, Ivan Ezhov, Georgios Kaissis, Martin J. Menten, Daniel Rueckert, Johannes C. Paetzold
• Abstract要約: 直接画像からグラフへの変換は、単一のモデルにおけるオブジェクトの検出と関係予測を解決するための課題である。 画像-グラフ変換器のクロスドメインおよびクロス次元変換学習を可能にする一連の手法を提案する。 そこで我々は,2次元の衛星画像上でモデルを事前学習し,それを2次元および3次元の異なるターゲット領域に適用する。
• 参考スコア（独自算出の注目度）: 50.576354045312115
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Direct image-to-graph transformation is a challenging task that solves object detection and relationship prediction in a single model. Due to the complexity of this task, large training datasets are rare in many domains, which makes the training of large networks challenging. This data sparsity necessitates the establishment of pre-training strategies akin to the state-of-the-art in computer vision. In this work, we introduce a set of methods enabling cross-domain and cross-dimension transfer learning for image-to-graph transformers. We propose (1) a regularized edge sampling loss for sampling the optimal number of object relationships (edges) across domains, (2) a domain adaptation framework for image-to-graph transformers that aligns features from different domains, and (3) a simple projection function that allows us to pretrain 3D transformers on 2D input data. We demonstrate our method's utility in cross-domain and cross-dimension experiments, where we pretrain our models on 2D satellite images before applying them to vastly different target domains in 2D and 3D. Our method consistently outperforms a series of baselines on challenging benchmarks, such as retinal or whole-brain vessel graph extraction.
• Abstract（参考訳）: 直接画像からグラフへの変換は、1つのモデルでオブジェクトの検出と関係予測を解決する困難なタスクである。 このタスクの複雑さのため、多くのドメインで大規模なトレーニングデータセットは稀であり、大規模ネットワークのトレーニングを困難にしている。 このデータは、コンピュータビジョンにおける最先端技術に似た事前学習戦略の確立を必要とする。 本研究では,画像間変換器のクロスドメインおよびクロス次元変換学習を実現する手法を提案する。 本研究では,(1)領域間でのオブジェクト関係(エッジ)の最適個数をサンプリングする正規化エッジサンプリング損失,(2)異なる領域の特徴を整列する画像-グラフ変換器のドメイン適応フレームワーク,(3)2次元入力データ上で3次元変換器を事前訓練可能な単純な投影関数を提案する。 2次元および3次元の異なる対象領域に適用する前に、2次元衛星画像上でモデルを事前学習するクロスドメインおよびクロスディメンション実験において,本手法の有用性を実証する。 我々の手法は、網膜や脳血管グラフの抽出など、困難なベンチマークにおいて、一連のベースラインを一貫して上回る。

関連論文リスト

• Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
  従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。 そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。 PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
  論文  参考訳（メタデータ） (2024-07-26T06:29:09Z)
• Progressive Transformation Learning for Leveraging Virtual Images in Training [21.590496842692744]
  本稿では,PTL(Progressive Transformation Learning)を導入し,リアル性を高めた仮想画像を追加することにより,トレーニングデータセットを増強する。 1) 領域ギャップに応じて仮想イメージのプールからサブセットを選択する,2) 選択した仮想イメージを変換してリアリズムを向上する,3) 変換された仮想イメージをトレーニングセットに追加する,という3つのステップを段階的に繰り返す。 実験により、PTLは、特に小さなデータとクロスドメインシステムにおいて、ベースラインよりも大幅にパフォーマンスが向上することが示された。
  論文  参考訳（メタデータ） (2022-11-03T13:04:15Z)
• Unsupervised Domain Adaptation with Histogram-gated Image Translation for Delayered IC Image Analysis [2.720699926154399]
  Histogram-gated Image Translation (HGIT)は、特定のソースデータセットからターゲットデータセットのドメインに変換する、教師なしのドメイン適応フレームワークである。 提案手法は,報告したドメイン適応手法と比較して最高の性能を達成し,完全教師付きベンチマークに適当に近い。
  論文  参考訳（メタデータ） (2022-09-27T15:53:22Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• Self-Supervised Learning of Domain Invariant Features for Depth Estimation [35.74969527929284]
  単一画像深度推定のための教師なし合成-現実的領域適応の課題に対処する。 単一画像深度推定の重要なビルディングブロックはエンコーダ・デコーダ・タスク・ネットワークであり、RGB画像を入力とし、出力として深度マップを生成する。 本稿では,タスクネットワークにドメイン不変表現を自己教師型で学習させる新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-04T16:45:48Z)
• Six-channel Image Representation for Cross-domain Object Detection [17.854940064699985]
  ディープラーニングモデルはデータ駆動であり、優れたパフォーマンスは豊富で多様なデータセットに依存する。 いくつかの画像から画像への翻訳技術は、モデルを訓練するために特定のシーンの偽データを生成するために用いられる。 3チャンネル画像とそのgan生成した偽画像に刺激を与え,データセットの6チャンネル表現を作成することを提案する。
  論文  参考訳（メタデータ） (2021-01-03T04:50:03Z)
• Adversarial Bipartite Graph Learning for Video Domain Adaptation [50.68420708387015]
  ドメイン適応技術は,異なる領域間のモデルを適応させることに重点を置いているが,ビデオ認識領域ではめったに研究されていない。 近年,映像のソースと対象映像の表現を統一するために,対角学習を活用する視覚領域適応はビデオにはあまり効果がない。 本稿では,ソースとターゲットの相互作用を直接モデル化するAdversarial Bipartite Graph (ABG)学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-31T03:48:41Z)
• Domain Adaptation with Morphologic Segmentation [8.0698976170854]
  本稿では,任意の入力領域(実領域と合成領域)の画像を一様出力領域に変換するために,形態的セグメンテーションを用いた新しいドメイン適応フレームワークを提案する。 私たちのゴールは、複数のソースからのデータを共通の表現に統一する前処理のステップを確立することです。 都市景観のシミュレートと実データの4つのデータ集合上で, 定性的に定量的に評価し, 提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-06-16T17:06:02Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)
• CrDoCo: Pixel-level Domain Transfer with Cross-Domain Consistency [119.45667331836583]
  教師なしのドメイン適応アルゴリズムは、あるドメインから学んだ知識を別のドメインに転送することを目的としている。 本稿では,新しい画素単位の対向領域適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-09T19:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。