論文の概要: Structural Priors and Modular Adapters in the Composable Fine-Tuning Algorithm of Large-Scale Models

• arxiv url: http://arxiv.org/abs/2511.03981v1
• Date: Thu, 06 Nov 2025 02:10:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.270519
• Title: Structural Priors and Modular Adapters in the Composable Fine-Tuning Algorithm of Large-Scale Models
• Title（参考訳）: 大規模モデルの構成可能なファインチューニングアルゴリズムにおける構造優先とモジュール適応器
• Authors: Yuxiao Wang, Di Wu, Feng Liu, Zhimin Qiu, Chenrui Hu,
• Abstract要約: 本稿では,グラフ構造をモジュール型アダプタと組み合わせた,構成可能な微調整法を提案する。 提案手法は,タスク予測精度,アダプタ重み付け精度,全体的な計算効率を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 8.15127799301814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a composable fine-tuning method that integrates graph structural priors with modular adapters to address the high computational cost and structural instability faced by large-scale pre-trained models in multi-task adaptation. The method introduces a relation matrix to model dependencies among tasks, explicitly encoding correlations between nodes and paths into graph structural priors, which provide unified structural constraints for adapter weight allocation and path selection. Modular adapters are embedded into different layers through low-rank mapping and a pluggable mechanism, enabling efficient cross-task composition and reuse under prior guidance. This mechanism not only improves parameter efficiency and training stability but also alleviates path conflicts and redundant computation in multi-task scenarios. Furthermore, experiments on hyperparameter sensitivity, environmental sensitivity, and data sensitivity are conducted to systematically analyze key factors such as routing temperature, gating thresholds, and relation matrix regularization strength, verifying the consistency and superior performance of the method under structural constraints. The results demonstrate that the proposed framework significantly enhances task prediction accuracy, adapter weight allocation precision, and overall computational efficiency while maintaining model lightweight design, highlighting the synergistic advantages of graph priors and modular mechanisms in composable fine-tuning.
• Abstract（参考訳）: 本稿では,マルチタスク適応における大規模事前学習モデルが直面する高い計算コストと構造不安定性に対処するために,グラフ構造先行とモジュールアダプタを統合する構成可能な微調整手法を提案する。 本手法では,タスク間のモデル依存性に対する関係行列を導入し,ノードとパス間の相関関係をグラフ構造上の先行値に明示的に符号化し,アダプタの重み付けと経路選択に統一的な構造制約を与える。 モジュールアダプタは低ランクマッピングとプラガブル機構を通じて異なる層に埋め込み、効率的なクロスタスク合成と事前ガイダンスによる再利用を可能にする。 このメカニズムはパラメータ効率とトレーニング安定性を向上するだけでなく、マルチタスクシナリオにおける経路競合や冗長な計算を緩和する。 さらに、過パラメータ感度、環境感度、データ感度に関する実験を行い、経路温度、ゲーティングしきい値、関係行列正規化強度などの重要な要因を系統的に解析し、構造的制約下での手法の整合性と優れた性能を検証する。 提案手法は, モデル軽量設計を維持しつつ, タスク予測精度, アダプタ重み付け精度, 全体的な計算効率を著しく向上し, 構成可能な微調整におけるグラフ先行とモジュール機構の相乗的優位性を強調した。

関連論文リスト

• Graph Neural Network Assisted Genetic Algorithm for Structural Dynamic Response and Parameter Optimization [1.5383027029023142]
  質量(m)、剛性(k)、減衰係数(c)などの構造パラメータの最適化は、効率的で弾力性があり安定した構造を設計するのに重要である。 本研究では,グラフニューラルネットワーク(GNN)サロゲートモデルと遺伝的アルゴリズム(GA)を統合し,これらの課題を克服するハイブリッドデータ駆動フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-26T21:14:59Z)
• A Hierarchical Quantized Tokenization Framework for Task-Adaptive Graph Representation Learning [8.608851021844576]
  この研究は、複数のスケールにわたるタスク適応アグリゲーションのための自己重み付け機構を導入する階層的な量子化フレームワークを提案する。 ノード分類とリンク予測のためのベンチマークデータセットの実験では、同等の計算予算の下で、強いベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2025-10-14T10:36:43Z)
• Structure-Learnable Adapter Fine-Tuning for Parameter-Efficient Large Language Models [5.019928514737434]
  本稿では,構造学習機構を基盤としたアダプタを用いたファインチューニング手法を提案する。 これにより、モデルがマルチタスク設定で柔軟に構造を調整し、異なるタスク特性に適合させることができる。 精度、圧縮速度、ノイズや摂動に対する頑健さのバランスが良くなる。
  論文  参考訳（メタデータ） (2025-09-03T06:40:25Z)
• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Autonomous Structural Memory Manipulation for Large Language Models Using Hierarchical Embedding Augmentation [0.0]
  本研究では,マルチレベルセマンティック構造を通じてトークンの表現を再定義する手段として,階層的な埋め込み拡張を導入する。 その結果、より長い入力シーケンスに対して処理オーバーヘッドが大幅に削減され、計算効率が大幅に向上した。 トークン表現とメモリ構成を動的に調整する能力は、様々な予測不可能な入力条件下でモデルの堅牢性に寄与した。
  論文  参考訳（メタデータ） (2025-01-23T22:20:36Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。