論文の概要: QINA: Quantum-Inspired Nonlinear Adapters for Pretrained Vision Models
- arxiv url: http://arxiv.org/abs/2609.29592v1
- Date: Tue, 01 Sep 2026 13:18:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.081829
- Title: QINA: Quantum-Inspired Nonlinear Adapters for Pretrained Vision Models
- Title(参考訳): QINA:事前学習ビジョンモデルのための量子誘導非線形適応器
- Abstract要約: 構造的非線形特徴持ち上げは凍結状態における表現的アライメントを改善することができるか検討する。
本稿では,学習可能な三角関数リフトと有界非線形アグリゲーションを行うコンパクトモジュールであるQuantum-Inspired Adapters (QINA)を紹介する。
この方法は標準のディープラーニングフレームワークで完全に動作し、量子ハードウェアを必要としない。
- 参考スコア(独自算出の注目度): 1.14219428942199
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adapting large pretrained vision models under limited data and frozen-backbone constraints remains a central challenge in transfer learning. While lightweight adapters and parameter-efficient fine-tuning methods are widely adopted, most rely on generic multilayer perceptrons or low-rank linear updates, offering limited control over the spectral and geometric structure of feature transformations. We investigate whether structured nonlinear feature lifting can improve representational alignment in frozen regimes. We introduce Quantum-Inspired Nonlinear Adapters (QINA), compact modules that perform learnable trigonometric feature lifting followed by bounded nonlinear aggregation. The design induces structured oscillatory basis functions with an explicit norm-dependent Lipschitz bound, enabling spectral reshaping of pretrained representations without increasing the receptive field or significantly expanding parameter count. Importantly, the method operates entirely within standard deep learning frameworks and does not require quantum hardware. Through systematic experiments across natural and medical imaging datasets, classification and segmentation tasks, multiple adapters and placements, and varying training budgets, we show that performance in frozen regimes is primarily representation-limited. Nonlinear lifting improves adaptation, and the proposed structured trigonometric formulation consistently outperforms identity baselines, fixed Fourier feature mappings, and parameter-matched baseline adapters. Within the evaluated frozen-backbone settings, structured spectral parameterization provides a more effective inductive bias than generic nonlinear adapters. This work highlights the importance of geometry- and spectrum-aware adaptation mechanisms for large pretrained vision models.
- Abstract(参考訳): 限られたデータと凍結したバックボーン制約の下で大きな事前学習されたビジョンモデルを適用することは、トランスファーラーニングにおける中心的な課題である。
軽量アダプタとパラメータ効率の良い微調整法が広く採用されているが、ほとんどの場合、一般的な多層パーセプトロンや低ランク線形更新に依存しており、特徴変換のスペクトル構造と幾何構造を限定的に制御できる。
構造的非線形特徴持ち上げは凍結状態における表現的アライメントを改善することができるか検討する。
本稿では,量子インスパイアされた非線形アダプタ(QINA)について紹介する。
この設計は、明示的にノルム依存のリプシッツ境界を持つ構造的振動基底関数を誘導し、受容場を増大させることなく、あるいはパラメータ数を大きく拡大することなく、事前学習された表現のスペクトル再構成を可能にする。
重要なことに、この方法は標準のディープラーニングフレームワークで完全に動作し、量子ハードウェアを必要としない。
自然および医学的な画像データセット、分類とセグメンテーションタスク、複数のアダプタと配置、および様々なトレーニング予算の体系的な実験を通じて、凍結状態におけるパフォーマンスは、主に表現に制限されていることを示す。
非線形リフトは適応性を向上し、提案した三角法定式化は恒常的にアイデンティティベースライン、固定されたフーリエ特徴写像、パラメータマッチングベースラインアダプタよりも優れる。
評価されたフリーズバックボーン設定の中で、構造化されたスペクトルパラメータ化は、一般的な非線形アダプターよりも効果的な帰納バイアスを与える。
この研究は、大規模な事前訓練された視覚モデルに対する幾何学的およびスペクトル的適応機構の重要性を強調した。
関連論文リスト
- GAPrompt++: Multi-Granular Geometry-Aware Point Cloud Prompt for 3D Vision Model [78.64849498586526]
効率的な3次元タスク適応のための多粒形状認識プロンプト法であるGAPrompt++を提案する。
GAPrompt++はプロンプトベースのPEFTメソッドで最先端のパフォーマンスを実現する。
さらに、トレーニング可能なパラメータを2%未満で必要としながら、さまざまなベンチマークで完全な微調整も行なっています。
論文 参考訳(メタデータ) (2026-09-17T05:14:34Z) - Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。
SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。
SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
論文 参考訳(メタデータ) (2026-05-11T17:59:25Z) - MC-RFM: Geometry-Aware Few-Shot Adaptation via Mixed-Curvature Riemannian Flow Matching [0.764671395172401]
textscMC-RFMは、凍結した視覚バックボーンの少数ショット適応のための混合曲率フローマッチングフレームワークである。
適応は、凍結した特徴からサポートセットプロトタイプへのタスク条件付き連続輸送として定式化されている。
その結果, 混合曲率ヘッド, タスク条件付け, 適応分岐ゲーティング, プロトタイプ縮小, 識別的監督がそれぞれ性能に寄与していることが示唆された。
論文 参考訳(メタデータ) (2026-05-08T23:36:37Z) - Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。
本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。
提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
論文 参考訳(メタデータ) (2025-10-20T16:15:03Z) - Federated Nonlinear System Identification [13.00485174005548]
フェデレートラーニングは、参加するクライアントの数が増えるにつれて、個々のクライアントの収束を継続的に改善します。
我々は、クライアントデバイスがi.d.入力とi.d.ランダム摂動を示す制御ポリシーによって駆動される物理的環境で、我々の理論を実験的に検証する。
論文 参考訳(メタデータ) (2025-08-20T19:41:43Z) - Weight Spectra Induced Efficient Model Adaptation [54.8615621415845]
微調整された大規模な基礎モデルは、計算コストを禁ずる。
微調整が最上位特異値を大きく増幅する一方で,残りはほとんど無傷であることを示す。
本稿では,トップ特異方向の学習可能な再スケーリングを利用する新しい手法を提案する。
論文 参考訳(メタデータ) (2025-05-29T05:03:29Z) - Dynamic 3D KAN Convolution with Adaptive Grid Optimization for Hyperspectral Image Classification [12.168520751389622]
Kanetは改良された3D-DenseNetモデルであり、3D Kan Convとアダプティブグリッド更新機構で構成されている。
Kanetはネットワークの深さや幅を増大させることなく、3D動的専門家畳み込みシステムを通じてモデル表現能力を向上させる。
提案手法は、IN, UP, KSCデータセット上での優れた性能を示し、主流のハイパースペクトル画像分類手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2025-04-21T14:57:48Z) - Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
生成モデルのための新しいスペクトル対応適応フレームワークを提案する。
本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。
本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
論文 参考訳(メタデータ) (2024-05-31T17:43:35Z) - Plug-In Inversion: Model-Agnostic Inversion for Vision with Data
Augmentations [61.95114821573875]
単純な拡張セットに依存し、過剰なハイパーパラメータチューニングを必要としないPlug-In Inversionを導入する。
ImageNetデータセットでトレーニングされたビジョントランスフォーマー(ViT)とマルチ層パーセプトロン(MLP)を反転させることにより,我々のアプローチの実用性を説明する。
論文 参考訳(メタデータ) (2022-01-31T02:12:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。