論文の概要: Diving into Kronecker Adapters: Component Design Matters

• arxiv url: http://arxiv.org/abs/2602.01267v1
• Date: Sun, 01 Feb 2026 14:55:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.684185
• Title: Diving into Kronecker Adapters: Component Design Matters
• Title（参考訳）: Kroneckerアダプタに移行する - コンポーネント設計上の問題
• Authors: Jiayu Bai, Danchen Yu, Zhenyu Liao, TianQi Hou, Feng Zhou, Robert C. Qiu, Zenan Ling,
• Abstract要約: 我々は、Kroneckerアダプタのキャパシティを管理するキーファクタとして、コンポーネント構造を識別する。 特に、Kroneckerアダプタとフル微調整のアライメントがコンポーネント構成に依存することを示す。 コンポーネント設計Kronecker Adapters (CDKA)を提案する。
• 参考スコア（独自算出の注目度）: 12.238438850516802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kronecker adapters have emerged as a promising approach for fine-tuning large-scale models, enabling high-rank updates through tunable component structures. However, existing work largely treats the component structure as a fixed or heuristic design choice, leaving the dimensions and number of Kronecker components underexplored. In this paper, we identify component structure as a key factor governing the capacity of Kronecker adapters. We perform a fine-grained analysis of both the dimensions and number of Kronecker components. In particular, we show that the alignment between Kronecker adapters and full fine-tuning depends on component configurations. Guided by these insights, we propose Component Designed Kronecker Adapters (CDKA). We further provide parameter-budget-aware configuration guidelines and a tailored training stabilization strategy for practical deployment. Experiments across various natural language processing tasks demonstrate the effectiveness of CDKA. Code is available at https://github.com/rainstonee/CDKA.
• Abstract（参考訳）: Kroneckerアダプタは大規模モデルを微調整するための有望なアプローチとして登場し、チューニング可能なコンポーネント構造による高階更新を実現している。 しかし、既存の研究は、コンポーネント構造を固定的あるいはヒューリスティックな設計選択として扱い、クロネッカーコンポーネントの次元と個数は未探索のままである。 本稿では,Kroneckerアダプタのキャパシティを規定するキーファクタとして,コンポーネント構造を同定する。 我々はクロネッカー成分の次元と数の両方を詳細に解析する。 特に、Kroneckerアダプタとフル微調整のアライメントがコンポーネント構成に依存することを示す。 これらの知見に導かれ,我々はコンポーネント設計Kronecker Adapters (CDKA)を提案する。 さらに,パラメータ・バジェット・アウェア構成ガイドラインと,実践的展開のためのトレーニング安定化戦略について述べる。 各種自然言語処理タスクを対象とした実験により,CDKAの有効性が示された。 コードはhttps://github.com/rainstonee/CDKAで入手できる。

関連論文リスト

• PORTAL: Controllable Landscape Generator for Continuous Optimization-Part I: Framework [6.776726767599686]
  本稿では,連続最適化研究のためのベンチマークジェネレータである Portal を紹介する。 盆地曲率、条件付け、変動相互作用、表面粗さに対するきめ細かい独立した制御を提供する。 また、メタアルゴリズム研究、カスタマイズされたベンチマークスイートの設計、インタラクティブな教育利用のための多様なデータセットの作成を容易にする。
  論文  参考訳（メタデータ） (2025-11-29T02:57:13Z)
• Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
  ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。 まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。 次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
  論文  参考訳（メタデータ） (2025-07-09T03:25:45Z)
• Singular Value Decomposition on Kronecker Adaptation for Large Language Model [0.8747606955991707]
  大規模な事前訓練されたトランスフォーマーモデルは、様々な言語や推論タスクにまたがって最先端の結果が得られる。 完全な微調整は、かなりのストレージ、メモリ、計算オーバーヘッドを発生させる。 我々は, Kronecker-product tensor factorization と SVD-driven initialization と Dynamic rank selection を組み合わせた新しい PEFT 戦略である SoKA を提案する。
  論文  参考訳（メタデータ） (2025-06-18T08:28:53Z)
• Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
  タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。 本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
  論文  参考訳（メタデータ） (2025-06-16T07:55:14Z)
• CFPFormer: Feature-pyramid like Transformer Decoder for Segmentation and Detection [1.837431956557716]
  本稿では,Cross Feature Pyramid Transformer Decoder (CFPFormer)を提案する。 私たちの仕事は、長距離の依存関係をキャプチャし、効果的にアップサンプルのフィーチャーマップを作成できます。 ResNet50のバックボーンにより,92.02%のDice Scoreを実現し,本手法の有効性を強調した。
  論文  参考訳（メタデータ） (2024-04-23T18:46:07Z)
• Compositional Kronecker Context Optimization for Vision-Language Models [27.234863452965886]
  合成クローネッカーコンテキスト最適化(CK-CoOp)と呼ばれる軽量で一般化可能な手法を提案する。 技術的には、CK-CoOpにおけるプロンプトの文脈語は学習可能なベクトルであり、辞書から派生したベースベクトルを線形に結合することによって構成される。 CK-CoOpは、ベース・ツー・ドメイン・クロスタスクの一般化評価において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-03-18T10:09:28Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Dynamic Snake Convolution based on Topological Geometric Constraints for Tubular Structure Segmentation [12.081234339680456]
  我々はこの知識を用いてDSCNetを誘導し、特徴抽出、特徴融合、損失制約という3つの段階の認識を同時に強化する。 2Dおよび3Dデータセットの実験により、DSCNetは管状構造セグメンテーションタスクにおいて、いくつかの手法と比較して精度と連続性が高いことを示した。
  論文  参考訳（メタデータ） (2023-07-17T10:55:58Z)
• Adaptive Spot-Guided Transformer for Consistent Local Feature Matching [64.30749838423922]
  局所的特徴マッチングのための適応スポットガイド変換器(ASTR)を提案する。 ASTRは、統一された粗いアーキテクチャにおける局所的な一貫性とスケールのバリエーションをモデル化する。
  論文  参考訳（メタデータ） (2023-03-29T12:28:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。