論文の概要: Structured Hyperedge Adaptation for Parameter-Efficient Fine-Tuning of Vision Transformers

• arxiv url: http://arxiv.org/abs/2606.22383v1
• Date: Sun, 21 Jun 2026 08:09:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 18:35:39.2308
• Title: Structured Hyperedge Adaptation for Parameter-Efficient Fine-Tuning of Vision Transformers
• Title（参考訳）: 視覚変換器のパラメータ効率の良い微調整のための構造付きハイパーエッジ適応
• Authors: Edwin Kwadwo Tenagyei, Lei Wang, Ugochukwu Ejike Akpudo, Jun Zhou, Yongsheng Gao,
• Abstract要約: 我々はハイパーグラフベースのアダプタアーキテクチャであるHyperAdapterを導入し,ソフトトークンルーティングによるグループ認識型構造化を実現する。 様々な視覚的ベンチマークによる実験では、構造化されたハイパーエッジ適応が強いPEFTベースラインを一貫して上回ることを示した。
• 参考スコア（独自算出の注目度）: 13.97407382426689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) has become a practical solution for adapting large pretrained vision transformers (ViTs) to downstream tasks while updating only a small subset of parameters. However, existing adapter-based methods perform adaptation independently for each token, implicitly assuming that token refinements should be learned in isolation. This token-wise formulation overlooks the structured relationships among tokens that naturally arise in visual scenes, potentially leading to redundant updates and spatially inconsistent feature refinement. In this work, we revisit the design of parameter-efficient adapters and propose to perform adaptation in hyperedge space rather than token space. We introduce HyperAdapter, a hypergraph-based adapter architecture that enables structured, group-aware adaptation through soft token routing. HyperAdapter constructs a soft hypergraph over ViT tokens using prototype-based assignments, aggregates token features into latent hyperedge representations, applies lightweight bottleneck adaptation at the hyperedge level, and diffuses the resulting updates back to tokens via the hypergraph incidence structure. This design injects an explicit structural inductive bias into PEFT while preserving the modularity and efficiency of standard adapters. Extensive experiments across diverse visual benchmarks demonstrate that structured hyperedge adaptation consistently outperforms strong PEFT baselines under comparable parameter budgets, with particularly pronounced gains on tasks requiring structured reasoning. Our results suggest that the choice of adaptation space is a critical yet underexplored dimension in parameter-efficient transfer for ViTs.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は,少数のパラメータのみを更新しながら,大規模な事前学習型視覚変換器(ViT)を下流タスクに適用するための実用的なソリューションとなっている。 しかし、既存のアダプタベースのメソッドは、トークンごとに独立して適応を行い、トークンの洗練を独立して学ぶべきであると暗黙的に仮定する。 このトークン単位の定式化は、視覚シーンで自然に発生するトークン間の構造的関係を見落とし、冗長な更新と空間的に一貫性のない特徴の洗練につながる可能性がある。 本研究では,パラメータ効率のよいアダプタの設計を再検討し,トークン空間ではなくハイパーエッジ空間に適応することを提案する。 我々はハイパーグラフベースのアダプタアーキテクチャであるHyperAdapterを導入し,ソフトトークンルーティングによるグループ認識型構造化を実現する。 HyperAdapterは、プロトタイプベースの代入を使用してViTトークン上のソフトなハイパーグラフを構築し、トークンの特徴を潜在ハイパーエッジ表現に集約し、ハイパーエッジレベルで軽量なボトルネック適応を適用し、ハイパーグラフインシデント構造を通じてトークンへの更新を拡散する。 この設計は、標準アダプタのモジュラリティと効率を保ちながら、明示的な構造的帰納バイアスをPEFTに注入する。 多様な視覚的ベンチマークによる大規模な実験により、構造化されたハイパーエッジ適応は、同等のパラメータ予算の下で強いPEFTベースラインを一貫して上回り、特に構造化された推論を必要とするタスクにおいて顕著な利得を示す。 この結果から, 適応空間の選択は, ViTs のパラメータ効率移動において, 重要かつ未探索な次元であることが示唆された。

関連論文リスト

• GateRA: Token-Aware Modulation for Parameter-Efficient Fine-Tuning [51.79350934271497]
  GateRAは、PEFT更新の強度を動的に調整するトークン対応変調を導入する統一フレームワークである。 適応ゲーティングを標準のPEFTブランチに組み込むことで、Gateraは選択的でトークンレベルの適応を可能にする。 複数のコモンセンス推論ベンチマークの実験により、GateRAはPEFT法よりも一貫して優れ、一致していることが示された。
  論文  参考訳（メタデータ） (2025-11-15T17:55:47Z)
• iConFormer: Dynamic Parameter-Efficient Tuning with Input-Conditioned Adaptation [15.97351561456467]
  本稿では,iConFormerと呼ばれる新しいPEFT手法,入出力トランスフォーマーを提案する。 インスタンスレベルの特徴変換を可能にする動的アダプタに,入出力ネットワーク(iCoN)を導入する。 具体的に言うと、iCoNは各機能に対してチャネルワイドな畳み込みカーネルを生成し、それを適応畳み込みプロセスを使って変換し、下流タスクに適したタスク固有できめ細かな詳細を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-09-04T16:06:23Z)
• Adapter-X: A Novel General Parameter-Efficient Fine-Tuning Framework for Vision [52.80792724919329]
  本稿では,2次元画像と3次元点雲の微調整を改善するためのAdapter-Xという新しいフレームワークを提案する。 2D画像と3Dポイントの雲のモードで完全な微調整をし、パラメータが大幅に少ない、すなわち2Dと3Dの分類タスクにおいて、オリジナルのトレーニング可能なパラメータのわずか0.20%と1.88%で、初めて性能を上回った。
  論文  参考訳（メタデータ） (2024-06-05T08:26:44Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
  数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。 近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。 本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
  論文  参考訳（メタデータ） (2022-04-30T16:49:41Z)
• AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
  本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。 AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
  論文  参考訳（メタデータ） (2021-12-14T18:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。