論文の概要: At FullTilt: Real-Time Open-Set 3D Macromolecule Detection Directly from Tilted 2D Projections
- arxiv url: http://arxiv.org/abs/2604.10766v1
- Date: Sun, 12 Apr 2026 18:28:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.20887
- Title: At FullTilt: Real-Time Open-Set 3D Macromolecule Detection Directly from Tilted 2D Projections
- Title(参考訳): At FullTilt:Tilted 2Dプロジェクションから直接リアルタイムオープンセット3Dマクロ分子検出
- Authors: Ming-Yang Ho, Alberto Bartesaghi,
- Abstract要約: VRAM制約は3Dトモグラム全体の処理を禁止し、現行の手法は抽出されたサブボリューム上での緩やかなスライディングウインドウ推論に頼らざるを得なかった。
直列2次元傾斜列上で直接動作することによって3次元検出を再定義する,エンドツーエンドのフレームワークであるFullTiltを提案する。
FullTiltは最先端のゼロショット性能を実現し、VRAMの要求を大幅に削減し、高速で大規模なビジュアル分析を実現する。
- 参考スコア(独自算出の注目度): 2.9465623430708905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-set 3D macromolecule detection in cryogenic electron tomography eliminates the need for target-specific model retraining. However, strict VRAM constraints prohibit processing an entire 3D tomogram, forcing current methods to rely on slow sliding-window inference over extracted subvolumes. To overcome this, we propose FullTilt, an end-to-end framework that redefines 3D detection by operating directly on aligned 2D tilt-series. Because a tilt-series contains significantly fewer images than slices in a reconstructed tomogram, FullTilt eliminates redundant volumetric computation, accelerating inference by orders of magnitude. To process the entire tilt-series simultaneously, we introduce a tilt-series encoder to efficiently fuse cross-view information. We further propose a multiclass visual prompt encoder for flexible prompting, a tilt-aware query initializer to effectively anchor 3D queries, and an auxiliary geometric primitives module to enhance the model's understanding of multi-view geometry while improving robustness to adverse imaging artifacts. Extensive evaluations on three real-world datasets demonstrate that FullTilt achieves state-of-the-art zero-shot performance while drastically reducing runtime and VRAM requirements, paving the way for rapid, large-scale visual proteomics analysis. All code and data will be publicly available upon publication.
- Abstract(参考訳): 低温電子トモグラフィーにおける3Dマクロ分子のオープンセット検出は、ターゲット特異的モデル再トレーニングの必要性を排除している。
しかし、厳密なVRAM制約は3Dトモグラム全体の処理を禁止し、現行の手法は抽出されたサブボリュームに対する緩やかなスライディングウインドウ推論に頼らざるを得なかった。
これを解決するためにFullTiltを提案する。FullTiltは2次元傾斜列を直接操作することで3次元検出を再定義するエンドツーエンドフレームワークである。
傾き系列は再構成トモグラムのスライスよりも著しく少ないため、FullTiltは冗長なボリューム計算を排除し、桁違いの推論を加速する。
傾斜列全体を同時に処理するために,傾斜列エンコーダを導入し,クロスビュー情報を効率的に融合する。
さらに, フレキシブルプロンプトのためのマルチクラス視覚プロンプトエンコーダ, 3次元クエリを効果的にアンカーする傾き対応クエリ初期化器, モデルによるマルチビュー形状の理解を高めるための補助的幾何学的プリミティブモジュールを提案する。
3つの実世界のデータセットに対する大規模な評価は、FullTiltが最先端のゼロショットのパフォーマンスを達成しつつ、ランタイムとVRAMの要求を大幅に削減し、高速で大規模なビジュアルプロテオミクス分析の道を開いたことを示している。
すべてのコードとデータは公開時に公開される。
関連論文リスト
- TriCLIP-3D: A Unified Parameter-Efficient Framework for Tri-Modal 3D Visual Grounding based on CLIP [52.79100775328595]
3Dビジュアルグラウンドティングは、人間の指示に基づいて現実世界の3D環境における視覚情報を理解するための具体的エージェントである。
既存の3Dビジュアルグラウンド法は、異なるモダリティの異なるエンコーダに依存している。
本稿では,3つのモードすべてを処理するために,統合された2次元事前学習型マルチモーダルネットワークを提案する。
論文 参考訳(メタデータ) (2025-07-20T10:28:06Z) - RAPS-3D: Efficient interactive segmentation for 3D radiological imaging [5.8497833718980345]
2Dモデルを3Dに適応させるには、通常、予測がスライスによって伝達される自動回帰戦略が必要となる。
そこで本研究では,SegVolにインスパイアされた簡易な3Dプロンプト可能なセグメンテーション手法を提案する。
論文 参考訳(メタデータ) (2025-07-10T13:08:57Z) - VideoLifter: Lifting Videos to 3D with Fast Hierarchical Stereo Alignment [54.66217340264935]
VideoLifterは、ローカルからグローバルへの戦略を断片的に活用する、新しいビデオから3Dパイプラインである。
再建プロセスを大幅に加速し、訓練時間を82%以上削減し、現在のSOTA法よりも視覚的品質を向上した。
論文 参考訳(メタデータ) (2025-01-03T18:52:36Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳(メタデータ) (2024-10-29T15:28:15Z) - DM3D: Distortion-Minimized Weight Pruning for Lossless 3D Object Detection [42.07920565812081]
本稿では,3次元物体検出のための新しいトレーニング後の重み付け手法を提案する。
事前訓練されたモデルにおける冗長パラメータを決定し、局所性と信頼性の両方において最小限の歪みをもたらす。
本フレームワークは,ネットワーク出力の歪みを最小限に抑え,検出精度を最大に維持することを目的とする。
論文 参考訳(メタデータ) (2024-07-02T09:33:32Z) - Parallel Diffusion Model-based Sparse-view Cone-beam Breast CT [7.712142153700843]
我々は,切欠き拡散確率モデル(DDPM)を,サブボリュームベーススパースビュー胸部CT画像再構成のための並列フレームワークに変換する。
実験により, 本手法は, 標準放射線線量の半分から3分の1の競争再建性能を達成できることが判明した。
論文 参考訳(メタデータ) (2023-03-22T18:55:43Z) - Weakly Supervised Volumetric Image Segmentation with Deformed Templates [80.04326168716493]
対象対象物の表面にスパースな3次元点のセットのみを提供する必要があるという意味で、真に弱い教師付きアプローチを提案する。
監督コストの削減により、3Dの弱スーパービジョンに対する従来のアプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-07T22:09:34Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳(メタデータ) (2020-08-31T17:10:48Z) - Range Conditioned Dilated Convolutions for Scale Invariant 3D Object
Detection [41.59388513615775]
本稿では,LiDARデータをそのネイティブ表現(範囲画像)に直接処理する新しい3Dオブジェクト検出フレームワークを提案する。
2D畳み込みは、レンジ画像のコンパクト性から、シーンの高密度LiDARデータを効率的に処理することができる。
論文 参考訳(メタデータ) (2020-05-20T09:24:43Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。