論文の概要: Position Anchor Tuning: Towards Efficient Adaptation of Pre-Trained Point Cloud Transformers

• arxiv url: http://arxiv.org/abs/2609.18056v1
• Date: Wed, 16 Sep 2026 02:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.619038
• Title: Position Anchor Tuning: Towards Efficient Adaptation of Pre-Trained Point Cloud Transformers
• Title（参考訳）: 位置アンカーチューニング:事前学習点雲変圧器の効率的な適応に向けて
• Abstract要約: 位置アンカーチューニング(PAT)は、様々な下流タスクに事前訓練された点雲変換器を適応させる新しいPEFT方式である。 広く使われているベンチマーク実験では、PATは最先端の手法と互換性があることを示した。
• 参考スコア（独自算出の注目度）: 29.559765891847842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) has recently emerged as a pivotal research direction for adapting pre-trained point cloud transformers to diverse downstream tasks. Although existing methods achieve excellent fine-tuning performance with high parameter efficiency, they ignore inference efficiency. To tackle this problem, a novel PEFT method termed position anchor tuning (PAT) is proposed in this paper. As multi-head attention (MHA) and feed-forward network (FFN) are computation-heavy blocks in pre-trained transformers, PAT decreases their computational cost through token aggregation-expansion pairs. Each pair comprises a token aggregation module (TAM) and a token expansion module (TEM). For MHA and FFN blocks, TAMs extract representative tokens from their input tokens based on position anchors in 3D space. These extracted tokens, rather than the original input tokens, are processed by the blocks, thereby reducing the number of tokens involved in computation. Then, TEMs propagate the learned representations back to the original input tokens. Since TAMs are solely responsible for capturing task-specific representations, base-sharing low-rank adaptation (BSLoRA) is further introduced to enable them to learn such representations effectively with only a small number of trainable parameters. Extensive experiments on widely used benchmarks demonstrate that PAT performs comparably to state-of-the-art methods while incurring significantly lower computational overhead and fewer trainable parameters.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は、様々な下流タスクに事前訓練された点雲変換器を適用するための重要な研究方向として最近登場した。 既存の手法は高いパラメータ効率で優れた微調整性能を実現するが、推論効率は無視する。 そこで本論文では,位置アンカーチューニング(PAT)と呼ばれる新しいPEFT手法を提案する。 マルチヘッドアテンション(MHA)とフィードフォワードネットワーク(FFN)は、事前訓練されたトランスフォーマーの計算量の多いブロックであるため、PATはトークン集約-拡張ペアを通じて計算コストを削減できる。 各ペアは、トークン集約モジュール(TAM)とトークン拡張モジュール(TEM)から構成される。 MHAブロックとFFNブロックの場合、TAMは3次元空間の位置アンカーに基づいて入力トークンから代表トークンを抽出する。 これらの抽出されたトークンは、元の入力トークンではなく、ブロックによって処理されるため、計算に関わるトークンの数を減らすことができる。 そして、TEMは学習した表現を元の入力トークンに戻します。 TAMはタスク固有の表現のみをキャプチャする責任があるため、ベースシェアリング低ランク適応(BSLoRA)が導入された。 広く使われているベンチマーク実験では、PATは最先端の手法と互換性があり、計算オーバーヘッドは大幅に小さく、訓練可能なパラメータも少ないことが示されている。

関連論文リスト

• Residual Connections and the Causal Shift: Uncovering a Structural Misalignment in Transformers [9.617245548268437]
  大規模言語モデル(LLM)は、自動回帰変換器で実装された次世代の予測で訓練される。 残余接続は現在のトークンとアクティベーションを結び付け、監督は次のトークンをターゲットとします。 固定層介入や学習可能なゲーティング機構として実装された残差減衰に基づく軽量残差経路緩和法を提案する。
  論文  参考訳（メタデータ） (2026-02-16T14:04:42Z)
• Neutralizing Token Aggregation via Information Augmentation for Efficient Test-Time Adaptation [59.1067331268383]
  TTA(Test-Time Adaptation)は、視覚変換器(ViT)を追加のトレーニングデータなしで分散シフトに適応するための有効なソリューションとして登場した。 推論コストを削減するために、プラグイン・アンド・プレイのトークン・アグリゲーション手法はViTに冗長なトークンをマージし、全処理されたトークンを減らす。 我々はこの問題をETTA(Efficient Test-Time Adaptation)として定式化し、推論遅延を低減しつつTTAの適応性を維持する。
  論文  参考訳（メタデータ） (2025-08-05T12:40:55Z)
• Parameter-Efficient Transformer Embeddings [0.0]
  本稿では,トークンの埋め込みベクトルをトークンIDから直接決定的に生成する手法を提案する。 自然言語推論タスクで標準トランスフォーマーとアーキテクチャをトレーニングします。 提案手法は, パラメータをはるかに少なくし, 高速かつ効果的に動作し, ドロップアウトを必要とせずに性能を向上することを示した。
  論文  参考訳（メタデータ） (2025-05-04T21:47:18Z)
• ADePT: Adaptive Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [23.511954119467735]
  Prompt Tuning (PT)は、事前訓練された大規模言語モデル(PLM)の下流タスクへの適応を可能にする。 Decomposed Prompt Tuning (DePT) は優れた適応能力を示した。 ADePTは短いソフトプロンプトと浅いトークン共有フィードフォワードニューラルネットワークで構成されている。
  論文  参考訳（メタデータ） (2025-01-06T08:20:04Z)
• Multiple-Exit Tuning: Towards Inference-Efficient Adaptation for Vision Transformer [47.85315815897107]
  マルチエクイットチューニング(MET)と呼ばれる推論効率のチューニング手法を提案する。 METは、複数の出口を事前訓練された視覚変換器(ViT)のバックボーンに統合する。 推論段階では、簡単なサンプルは早期の出口で終了し、十分なサンプルだけが最後の出口に流れるので、簡単なサンプルの計算コストを節約できる。
  論文  参考訳（メタデータ） (2024-09-21T03:25:18Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• CageViT: Convolutional Activation Guided Efficient Vision Transformer [90.69578999760206]
  本稿では,CageViTと呼ばれる効率的な視覚変換器を提案する。 私たちのCageViTは、現在のTransformersとは違って、新しいエンコーダを使用して、再配置されたトークンを処理する。 実験の結果,提案したCageViTは最新の最先端のバックボーンよりも効率の面で大きな差があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T03:19:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。