論文の概要: FlexRank: Nested Low-Rank Knowledge Decomposition for Adaptive Model Deployment

• arxiv url: http://arxiv.org/abs/2602.02680v1
• Date: Mon, 02 Feb 2026 19:01:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.0165
• Title: FlexRank: Nested Low-Rank Knowledge Decomposition for Adaptive Model Deployment
• Title（参考訳）: FlexRank: 適応型モデルデプロイメントのための低ランクな知識分割
• Authors: Riccardo Zaccone, Stefanos Laskaridis, Marco Ciccone, Samuel Horváth,
• Abstract要約: 重要順序付きネスト成分は事前訓練されたモデルから抽出でき、利用可能な計算予算に基づいて選択的に活性化される。 このアプローチは、各予算のスクラッチからトレーニングすることなく、コストとパフォーマンスの間の優雅なトレードオフを提供する"トレインオンス、デプロイ、どこでも"のパラダイムを可能にします。
• 参考スコア（独自算出の注目度）: 20.331469310989956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing scale of deep neural networks, encompassing large language models (LLMs) and vision transformers (ViTs), has made training from scratch prohibitively expensive and deployment increasingly costly. These models are often used as computational monoliths with fixed cost, a rigidity that does not leverage overparametrized architectures and largely hinders adaptive deployment across different cost budgets. We argue that importance-ordered nested components can be extracted from pretrained models, and selectively activated on the available computational budget. To this end, our proposed FlexRank method leverages low-rank weight decomposition with nested, importance-based consolidation to extract submodels of increasing capabilities. Our approach enables a "train-once, deploy-everywhere" paradigm that offers a graceful trade-off between cost and performance without training from scratch for each budget - advancing practical deployment of large models.
• Abstract（参考訳）: 大規模言語モデル(LLM)とビジョントランスフォーマー(ViT)を含むディープニューラルネットワークの規模が拡大する中で、スクラッチからトレーニングを禁止的に高価にし、デプロイにますますコストがかかるようになった。 これらのモデルは、しばしば固定コストの計算モノリスとして使用され、過度にパラメータ化されたアーキテクチャを利用せず、様々なコスト予算をまたいだ適応的なデプロイメントを阻害する剛性である。 重要順序付きネスト成分は事前訓練されたモデルから抽出でき、利用可能な計算予算に基づいて選択的に活性化される。 この目的のために,本提案手法では,重み付けされた重み付けによる低ランクな重み分解を利用して,高機能化のサブモデル抽出を行う。 このアプローチは、予算毎にスクラッチからトレーニングすることなく、コストとパフォーマンスの間に優雅なトレードオフを提供する"トレーニングオンスでデプロイ可能な"パラダイムを可能にします。

関連論文リスト

• SALAAD: Sparse And Low-Rank Adaptation via ADMM [38.037874715181964]
  トレーニング中にスパース構造と低ランク構造を誘導するプラグイン・アンド・プレイ・フレームワークであるSALAADを提案する。 モデルスケールでの実験では、SALAADはデプロイメント中のメモリ消費を大幅に削減する。 単一のトレーニングを実行すると、モデル能力の連続的なスペクトルが得られ、多様なメモリ予算をまたいだスムーズで弾力的なデプロイメントが可能になる。
  論文  参考訳（メタデータ） (2026-02-01T00:00:11Z)
• Don't Start Over: A Cost-Effective Framework for Migrating Personalized Prompts Between LLMs [51.79252689855809]
  LLM(Large Language Models)におけるパーソナライゼーションは、しばしばユーザ固有のソフトプロンプトに依存する。 非互換モデル間でパーソナライズされたプロンプトを効率的に移行するフレームワークであるPrompt-level User Migration Adapter (PUMA)を提案する。 3つの大規模データセットの実験では、我々の手法が一致しているか、あるいはスクラッチから再トレーニングのパフォーマンスを上回り、計算コストを最大98%削減する。
  論文  参考訳（メタデータ） (2026-01-17T12:30:31Z)
• Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
  Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。 ネストしたサブモデルを単一の親モデルに組み込む。 これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:21Z)
• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。