論文の概要: DART: Depth-as-Target Pretraining for Surgical Vision Foundation Models

• arxiv url: http://arxiv.org/abs/2609.04555v1
• Date: Thu, 03 Sep 2026 23:20:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.860423
• Title: DART: Depth-as-Target Pretraining for Surgical Vision Foundation Models
• Title（参考訳）: DART:Depth-as-Target Pretraining for Surgery Vision Foundation Models
• Abstract要約: 簡単な修正でDINOv2上に構築したRGB-D事前学習レシピであるDARTを紹介する。 深さは事前トレーニングでのみ使用されるため、微調整と推論はRGBのみである。 シーン幾何学を符号化する深度は、代替の高密度信号よりも標的として有効であることを示す。
• 参考スコア（独自算出の注目度）: 6.698445861355354
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision foundation models (VFMs) are valuable in data-scarce domains such as surgery, where a single pretrained backbone can provide rich representations for many downstream tasks. Yet the dominant self-supervised pretraining paradigm uses only RGB images, leaving readily available complementary signals, such as depth maps, unused. This is a particular missed opportunity in surgery, where natural-image VFMs transfer poorly while the scene geometry is rich and informative. With strong off-the-shelf models now able to produce pseudo-labeled dense depth for any image corpus, we hypothesize that such signals can be folded into pretraining to learn better representations. We present DART, an RGB-D pretraining recipe that builds on DINOv2 with a simple modification: a pixel-space depth reconstruction objective applied to masked iBOT patches, supervised by pseudo-labeled depth. Depth is used only during pretraining, so fine-tuning and inference remain RGB-only. We find that this pixel-level reconstruction head improves representation quality rather than disrupting it. We further show that depth, which encodes scene geometry, is more effective as a target than alternative dense signals such as Canny edges, confirming that the gains stem from depth rather than added supervision alone. Across eight surgical benchmarks spanning segmentation, depth estimation, and image-level recognition, DART outperforms both natural-image and in-domain baselines, including a vanilla DINOv2 trained on identical data, improving dense prediction while also strengthening image-level understanding. More broadly, DART shows that freely available geometric pseudo-labels can strengthen foundation model pretraining without extra labels or added inference cost, pointing toward stronger backbones for surgery.
• Abstract（参考訳）: ビジョンファウンデーションモデル(VFM)は、単一の事前訓練されたバックボーンが多くの下流タスクにリッチな表現を提供するような、手術のようなデータ共有ドメインで有用である。 しかし、支配的な自己監督型事前訓練パラダイムはRGB画像のみを使用し、深度マップのような相補的な信号は未使用のまま残されている。 これは、自然像のVFMが、シーン幾何学が豊かで情報的である間に、伝達が不十分な手術の機会として特に欠落している。 強力なオフザシェルフモデルにより、任意の画像コーパスに対して擬似ラベル付き密度深度を生成できるようになったので、そのような信号は事前訓練に折り畳み、より良い表現を学習できるという仮説を立てる。 DARTは、DINOv2をベースとしたRGB-D事前学習のレシピで、マスクしたiBOTパッチに適用した画素空間深度再構成の目的を擬似ラベル深度で監視する。 深さは事前トレーニングでのみ使用されるため、微調整と推論はRGBのみである。 この画素レベルの再構成ヘッドは,表現の質を損なわずに向上することがわかった。 さらに、シーン幾何学を符号化する深度は、Canny edgesのような他の高密度信号よりも標的として有効であることを示し、その利得は監督のみを付加するのではなく、深さに由来することを確認した。 セグメンテーション、深さ推定、画像レベルの認識を含む8つの外科的ベンチマークで、DARTは、同一データに基づいてトレーニングされたバニラDINOv2を含む、自然なイメージとドメイン内のベースラインの両方を上回り、密度予測を改善し、画像レベルの理解を強化する。 より広範に、DARTは、幾何学的擬似ラベルを自由に利用できることは、追加のラベルや推論コストを伴わずに基礎モデルの事前訓練を強化し、手術用の強力な背骨を指していることを示している。

関連論文リスト

• Depth-to-Image Synthesis-Driven Generative Unguided Depth Completion [10.33984444207182]
  GUDC(Depth-to-Image Synthesis-Driven Generative Unguided Depth Completion)を提案する。 キーとなるアイデアは、コントロールネットの強力な深度条件生成機能を利用して、スパース深度から直接擬似イメージを合成することです。 本研究では,擬似画像から情報的意味的手がかりを適応的に抽出する擬似画像意味的注意融合モジュールを提案する。
  論文  参考訳（メタデータ） (2026-09-05T10:20:22Z)
• Modality Forcing for Scalable Spatial Generation [54.04539566839143]
  テキスト・トゥ・イメージ(T2I)モデルは、豊富な空間的事前を含む。 先行研究は、深度予測に先立ってT2Iモデルを適用するが、深度データが必要であり、複雑なレシピが伴う。 スパース深度データに基づいて訓練された1つのDiTを用いて、共同画像深度生成のためのシンプルでスケーラブルなポストトレーニングレシピであるModality Forcingを提案する。
  論文  参考訳（メタデータ） (2026-06-11T17:59:45Z)
• NAIMA: Semantics Aware RGB Guided Depth Super-Resolution [50.15623093332659]
  ガイドド・ディープ・スーパーレゾリューション(GDSR)は、低解像度の深度マップと高解像度のRGB画像に頼って、より微細な構造を復元するマルチモーダルな深度マップ・スーパーレゾリューションのアプローチである。 本稿では,事前学習された視覚変換器トークンの埋め込みから生成される,グローバルな文脈的セマンティックプリエントを導入するソリューションを提案する。
  論文  参考訳（メタデータ） (2026-04-06T04:14:59Z)
• Timestep-Aware Diffusion Model for Extreme Image Rescaling [47.89362819768323]
  本稿では,時間認識拡散モデル(TADM)と呼ばれる,画像再スケーリングのための新しいフレームワークを提案する。 TADMは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を行う。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
  論文  参考訳（メタデータ） (2024-08-17T09:51:42Z)
• AugUndo: Scaling Up Augmentations for Monocular Depth Completion and Estimation [51.143540967290114]
  本研究では,教師なし深度計算と推定のために,従来不可能であった幾何拡張の幅広い範囲をアンロックする手法を提案する。 これは、出力深さの座標への幾何変換を反転、あるいはアンドウイング(undo''-ing)し、深度マップを元の参照フレームに戻すことで達成される。
  論文  参考訳（メタデータ） (2023-10-15T05:15:45Z)
• Towards Better Data Exploitation in Self-Supervised Monocular Depth Estimation [14.262669370264994]
  本稿では、データセットのトレーニングの可能性を完全に活用するために、Resizing-CroppingとSplitting-Permutingという2つのデータ拡張手法を用いる。 具体的には、原画像と生成した2つの拡張イメージを同時にトレーニングパイプラインに供給し、自己蒸留を行う。 実験により,KITTIベンチマークを用いて,地中真理と地中真理の両面から,最先端の性能を実証した。
  論文  参考訳（メタデータ） (2023-09-11T06:18:05Z)
• RigNet++: Semantic Assisted Repetitive Image Guided Network for Depth Completion [31.70022495622075]
  画像案内ネットワークにおける繰り返し設計を探索し、徐々に十分に深度を復元する。 前者では,複雑な環境の識別画像の特徴を抽出するために,高密度繰り返し時間ガラスネットワーク(DRHN)を設計する。 後者では,動的畳み込みに基づく反復誘導(RG)モジュールを提案する。 さらに,領域認識型空間伝搬ネットワーク(RASPN)を提案する。
  論文  参考訳（メタデータ） (2023-09-01T09:11:20Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images [57.253447453301796]
  本稿では,ディープ・ダイレクト・ボリューム・レンダリング(Deep Direct Volume Rendering,DVR)を導入し,ディープ・ニューラル・ネットワークをDVRアルゴリズムに統合する。 潜在色空間におけるレンダリングを概念化し、深層アーキテクチャを用いて特徴抽出と分類のための暗黙マッピングを学習できるようにする。 我々の一般化は、画像空間の例から直接エンドツーエンドにトレーニングできる新しいボリュームレンダリングアーキテクチャを導き出すのに役立つ。
  論文  参考訳（メタデータ） (2021-06-09T23:03:00Z)
• More than meets the eye: Self-supervised depth reconstruction from brain activity [16.269923100433232]
  観測された2次元自然画像の高密度3次元深度マップは、fMRI脳波記録から直接復元可能であることを示す。 自然画像の未知の深度マップを推定するために,オフ・ザ・シェルフ法を用いる。 推定深度マップは、fMRIから直接深度再構成を訓練するための補助的再構成基準として使用される。
  論文  参考訳（メタデータ） (2021-06-09T14:46:09Z)
• S2R-DepthNet: Learning a Generalizable Depth-specific Structural Representation [63.58891781246175]
  人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。 我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。 当社のS2R-DepthNetは、合成データでのみ訓練されているにもかかわらず、目に見えない実際のデータに直接一般化できます。
  論文  参考訳（メタデータ） (2021-04-02T03:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。