論文の概要: An Adapter-free Fine-tuning Approach for Tuning 3D Foundation Models

• arxiv url: http://arxiv.org/abs/2603.23730v1
• Date: Tue, 24 Mar 2026 21:28:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.031018
• Title: An Adapter-free Fine-tuning Approach for Tuning 3D Foundation Models
• Title（参考訳）: 3次元基礎モデルの調整のためのアダプタフリーファインチューニング手法
• Authors: Sneha Paul, Zachary Patterson, Nizar Bouguila,
• Abstract要約: 本稿では,完全かつパラメータ効率の良いファインチューニングのギャップを埋めるために,MCFT(Momentum-Consistency Fine-Tuning)を提案する。 MCFTは、運動量ベースの一貫性制約を強制しながら、事前訓練されたエンコーダの一部を選択的に微調整する。 我々はMCFTを2つの変種で拡張する: 豊富なラベル付きデータを活用する半教師付きフレームワークと、計算効率を向上させるプルーニングベースの変種。
• 参考スコア（独自算出の注目度）: 22.63554774942836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Point cloud foundation models demonstrate strong generalization, yet adapting them to downstream tasks remains challenging in low-data regimes. Full fine-tuning often leads to overfitting and significant drift from pre-trained representations, while existing parameter-efficient fine-tuning (PEFT) methods mitigate this issue by introducing additional trainable components at the cost of increased inference-time latency. We propose Momentum-Consistency Fine-Tuning (MCFT), an adapter-free approach that bridges the gap between full and parameter-efficient fine-tuning. MCFT selectively fine-tunes a portion of the pre-trained encoder while enforcing a momentum-based consistency constraint to preserve task-agnostic representations. Unlike PEFT methods, MCFT introduces no additional representation learning parameters beyond a standard task head, maintaining the original model's parameter count and inference efficiency. We further extend MCFT with two variants: a semi-supervised framework that leverages abundant unlabeled data to enhance few-shot performance, and a pruning-based variant that improves computational efficiency through structured layer removal. Extensive experiments on object recognition and part segmentation benchmarks demonstrate that MCFT consistently outperforms prior methods, achieving a 3.30% gain in 5-shot settings and up to a 6.13% improvement with semi-supervised learning, while remaining well-suited for resource-constrained deployment.
• Abstract（参考訳）: ポイントクラウド基盤モデルは強力な一般化を示すが、下流のタスクにそれらを適用することは、低データ体制では難しいままである。 完全な微調整は、しばしば事前訓練された表現から過度に適合し、大きなドリフトを引き起こすが、既存のパラメータ効率の微調整(PEFT)メソッドは、推論時間の遅延を増大させることで、この問題を緩和する。 我々は,完全かつパラメータ効率の良いファインチューニングのギャップを埋めるアダプタレスアプローチであるMomentum-Consistency Fine-Tuning (MCFT)を提案する。 MCFTは、タスクに依存しない表現を保持するためにモーメントベースの一貫性制約を強制しながら、事前訓練されたエンコーダの一部を選択的に微調整する。 PEFT法とは異なり、MCFTは標準タスクヘッド以外の表現学習パラメータを導入せず、元のモデルのパラメータカウントと推論効率を維持している。 我々はさらにMCFTを2つの変種で拡張する: 豊富なラベル付きデータを活用する半教師付きフレームワークと、構造化層除去による計算効率を向上させるプルーニングベースの変種。 オブジェクト認識と部分セグメンテーションのベンチマークに関する大規模な実験では、MCFTは従来の手法を一貫して上回り、5ショット設定で3.30%向上し、半教師付き学習で6.13%改善した。

関連論文リスト

• Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
  より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。 FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。 FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
  論文  参考訳（メタデータ） (2026-02-28T05:41:57Z)
• Beyond Freezing: Sparse Tuning Enhances Plasticity in Continual Learning with Pre-Trained Models [10.904981532789824]
  事前訓練されたモデルによる継続的な学習は、シーケンシャルなタスクにまたがる効率的な適応を大いに約束する。 既存のアプローチはPTMを凍結し、プロンプトやアダプタのような補助モジュールに依存している。 MIST(Mutual Information-Guided Sparse Tuning)は,PTMパラメータのサブセットを選択的に更新するプラグイン・アンド・プレイ方式である。
  論文  参考訳（メタデータ） (2025-05-26T13:09:25Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Learn to Preserve and Diversify: Parameter-Efficient Group with Orthogonal Regularization for Domain Generalization [28.977757627384165]
  ドメイン・ドメイン(DG)は、限られたトレーニングデータと見つからないテストデータの間の分散シフトが発生したとき、モデルの性能劣化を避けることを目的としている。 近年、膨大なパラメータを持つ基礎モデルは、膨大なデータセットで事前訓練されており、強力な一般化能力を示している。 我々のフレームワークは5つのDGベンチマークでSOTA性能を実現し、テストコストを増すことなく少数のパラメータをトレーニングするのみである。
  論文  参考訳（メタデータ） (2024-07-21T07:50:49Z)
• FeTT: Continual Class Incremental Learning via Feature Transformation Tuning [19.765229703131876]
  継続的学習(CL)は、静的で囲われた環境から動的で複雑なシナリオまで、ディープモデルを拡張することを目的としている。 最近のCLモデルは、パラメータ効率の良い微調整戦略を持つ事前学習モデルの利用に徐々に移行している。 本稿では,すべてのタスクにまたがる非パラメトリック微調整バックボーン機能に対するFeTTモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-20T06:33:50Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。