論文の概要: Refine Then Fusion: Training-Free 3D Point Cloud Adaptation with Priority Refinement and Multi-Modal Knowledge Fusion

• arxiv url: http://arxiv.org/abs/2609.21522v1
• Date: Fri, 18 Sep 2026 09:11:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.943382
• Title: Refine Then Fusion: Training-Free 3D Point Cloud Adaptation with Priority Refinement and Multi-Modal Knowledge Fusion
• Title（参考訳）: Refine Then Fusion: 優先リファインメントとマルチモーダル知識融合によるトレーニング不要な3Dポイントクラウド適応
• Abstract要約: Refine Then Fusion(RTF)は、数発の3D認識のためのトレーニング不要のフレームワークである。 クラス間の類似性とクラス内安定性を共同でモデル化することで、識別的特徴チャネルを識別する。 次に,機能改善に伴う分散シフトからモダリティの信頼性を推定する,信頼性に配慮した融合機構を導入する。
• 参考スコア（独自算出の注目度）: 8.597672586576588
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent pre-trained foundation models provide rich multi-modal priors for downstream 3D vision tasks. However, the effectiveness of these representations in few-shot scenarios is limited by two fundamental challenges: High-dimensional features often contain substantial channel redundancy and task-irrelevant noise, while the reliability of different modalities varies across samples. Consequently, direct aggregation of heterogeneous representations overlooks sample-dependent modality reliability and may obscure the discriminative cues essential. To address these limitations, we propose Refine Then Fusion(RTF), a training-free framework for few-shot 3D recognition. RTF first identifies discriminative feature channels by jointly modeling inter-class similarity and intra-class stability, thereby decoupling domain-specific knowledge refinement from the cached representations of pre-trained models. It then introduces a reliability-aware fusion mechanism that estimates sample-wise modality reliability from the distribution shifts induced by feature refinement, enabling adaptive aggregation of multi-modal representations. Furthermore, RTF constructs a memory cache that integrates instance-level support features with class-level prototypes to infer query labels. Extensive experiments on five benchmarks demonstrate that RTF consistently outperforms single-modal baselines, partial-fusion variants, and existing lightweight adaptation methods, achieving state-of-the-art few-shot 3D recognition performance without gradient optimization, additional training data, auxiliary training, or parameter updates.
• Abstract（参考訳）: 最近のトレーニング済み基礎モデルは、下流の3D視覚タスクにリッチなマルチモーダル前処理を提供する。 しかし、これらの表現の有効性は、2つの基本的な課題によって制限されている: 高次元の特徴は、しばしば相当なチャネル冗長性とタスク非関連ノイズを含むが、異なるモードの信頼性はサンプルによって異なる。 その結果、不均一表現の直接集約は標本依存のモダリティの信頼性を見落とし、識別的手がかりを欠く可能性がある。 これらの制約に対処するために,数発の3D認識のためのトレーニングフリーフレームワークであるRefine Then Fusion(RTF)を提案する。 RTFは、まず、クラス間の類似性とクラス内安定性を共同でモデル化し、事前訓練されたモデルのキャッシュされた表現からドメイン固有の知識の洗練を分離することによって、識別的特徴チャネルを識別する。 次に,複数モーダル表現の適応的アグリゲーションを実現するために,特徴改善によって誘導される分布シフトから,サンプルワイドなモダリティの信頼性を推定する信頼性を考慮した融合機構を導入する。 さらに、RTFは、インスタンスレベルのサポート機能とクラスレベルのプロトタイプを統合し、クエリラベルを推論するメモリキャッシュを構築している。 5つのベンチマークでの大規模な実験により、RTFは単一モードのベースライン、部分融合の変種、および既存の軽量適応法を一貫して上回り、勾配最適化を伴わない最新式の数ショット3D認識性能、追加のトレーニングデータ、補助訓練、パラメータ更新を実現している。

関連論文リスト

• Unified modality separation: A vision-language framework for unsupervised domain adaptation [60.8391821117794]
  教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインでトレーニングされたモデルが新しいラベル付きドメインを扱うことを可能にする。 本稿では,モダリティ固有成分とモダリティ不変成分の両方に対応可能な統一モダリティ分離フレームワークを提案する。 提案手法は,9倍の計算効率で最大9%の性能向上を実現している。
  論文  参考訳（メタデータ） (2025-08-07T02:51:10Z)
• Advancing Reliable Test-Time Adaptation of Vision-Language Models under Visual Variations [67.35596444651037]
  視覚言語モデル(VLM)は、素晴らしいゼロショット機能を示すが、ラベル付きデータが利用できない場合、下流タスクの分散シフトに苦慮する。 本稿では,信頼性を両面から高めるReliable Test-Time Adaptation (ReTA)法を提案する。
  論文  参考訳（メタデータ） (2025-07-13T05:37:33Z)
• Test-Time Consistency in Vision Language Models [26.475993408532304]
  VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 MM-R3のような最近のベンチマークでは、最先端のVLMでさえ意味論的に等価な入力にまたがって分岐予測をもたらすことが強調されている。 教師付き再学習なしにセマンティックな一貫性を高める,シンプルで効果的なテスト時間一貫性フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-27T17:09:44Z)
• MIFNet: Learning Modality-Invariant Features for Generalizable Multimodal Image Matching [54.740256498985026]
  キーポイントの検出と記述方法は、しばしばマルチモーダルデータと競合する。 マルチモーダル画像マッチングにおけるキーポイント記述に対するモダリティ不変特徴量を計算するためのモダリティ不変特徴量学習ネットワーク(MIFNet)を提案する。
  論文  参考訳（メタデータ） (2025-01-20T06:56:30Z)
• Distribution Discrepancy and Feature Heterogeneity for Active 3D Object Detection [18.285299184361598]
  LiDARベースの3Dオブジェクト検出は、自律走行とロボット工学の発展にとって重要な技術である。 DDFH(Dis Distribution Discrepancy and Feature Heterogeneity)と呼ばれる新しい効果的なアクティブラーニング手法を提案する。 幾何学的特徴とモデル埋め込みを同時に考慮し、インスタンスレベルとフレームレベルの両方の観点から情報を評価する。
  論文  参考訳（メタデータ） (2024-09-09T08:26:11Z)
• Modality Unifying Network for Visible-Infrared Person Re-Identification [24.186989535051623]
  Visible-infrared person re-identification (VI-ReID) は、異種間の大きな相違とクラス内変異のために難しい課題である。 既存の手法は主に、異なるモダリティを同じ特徴空間に埋め込むことで、モダリティ共有表現を学習することに焦点を当てている。 そこで我々は,VI-ReID の頑健な補助モダリティを探索するために,新しいモダリティ統一ネットワーク (MUN) を提案する。
  論文  参考訳（メタデータ） (2023-09-12T14:22:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。