論文の概要: HydraLLM: Adaptive Width Slicing for Elastic Text and Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.23455v1
• Date: Fri, 16 Oct 2026 13:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.942075
• Title: HydraLLM: Adaptive Width Slicing for Elastic Text and Vision-Language Models
• Title（参考訳）: HydraLLM: 弾性テキストと視覚言語モデルのための適応幅スライシング
• Abstract要約: モデル再利用のための弾力性のあるMQAベースのアーキテクチャであるHydraLLMを紹介します。 75%の頭部がアクティブで、HydraLLMは最先端のネストされたベースライン構成よりもTriviaQAの精度が2.2パーセント高い。 50%のヘッドがアクティブで、我々のマルチモーダルモデルは7$times$より大きなGemma 3 4Bモデルに匹敵するCLIPSスコアを達成する。
• 参考スコア（独自算出の注目度）: 6.106894798274621
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs and LVLMs are increasingly deployed across heterogeneous hardware, ranging from data-center GPUs to resource-constrained edge devices. Their fixed-size architectures limit the ability to reuse a single model across deployment settings with different compute, latency, and model-size targets. We introduce HydraLLM, an elastic MQA-based architecture. Its number of active attention heads determines the effective widths of the embeddings, attention projections, feed-forward layers, and the output head, forming a nested family of subnetworks within a single parameter set. We introduce a static-to-elastic conversion pipeline that, starting from a pre-trained model checkpoint, includes importance-driven weight reordering and stochastic subnetwork training with knowledge distillation. We extend this principle to multimodal inference through an elastic projection module whose output width follows the active text width. HydraLLM covers a wider range of active parameter configurations than FFN-only elastic architectures. With 75% of heads active, HydraLLM achieves 2.2 percentage points higher TriviaQA accuracy than a state-of-the-art nested baseline configuration which has 17.25% more parameters. With 50% of heads active, our multimodal model achieves a CLIPScore comparable to that of the 7$\times$ larger Gemma 3 4B model. With only 25% of heads active, HydraLLM increases token-generation throughput by 75.3% over the full-width configuration.
• Abstract（参考訳）: LLMとLVLMは、データセンターのGPUからリソースに制約のあるエッジデバイスまで、異種ハードウェアに徐々にデプロイされている。 彼らの固定サイズアーキテクチャは、異なる計算量、レイテンシ、モデルサイズのターゲットを持つデプロイメント設定で単一のモデルを再利用する機能を制限する。 弾力性のあるMQAベースのアーキテクチャであるHydraLLMを紹介します。 そのアクティブアテンションヘッドの数は、埋め込み、アテンションプロジェクション、フィードフォワード層、出力ヘッドの有効幅を決定し、単一のパラメータセット内にネストされたサブネットの族を形成する。 本稿では,事前学習したモデルチェックポイントから始まる静的-弾性変換パイプラインを紹介し,重み付けによる重み付けと知識蒸留による確率的サブネットトレーニングを含む。 出力幅がアクティブテキスト幅に従う弾性投影モジュールを通じて、この原理をマルチモーダル推論に拡張する。 HydraLLMはFFNのみの弾性アーキテクチャよりも幅広いアクティブパラメータ構成をカバーしている。 75%の頭部がアクティブで、HydraLLMは17.25%のパラメータを持つ最先端のネストされたベースライン構成よりもTriviaQAの精度が2.2パーセント高い。 50%のヘッドがアクティブで、我々のマルチモーダルモデルは7$\times$より大きなGemma 3 4Bモデルに匹敵するCLIPSスコアを達成する。 ヘッドの25%しかアクティブにしないため、HydraLLMは全幅構成でトークン生成のスループットを75.3%向上させる。

関連論文リスト

• Stepped MoE: Segment-Level Routing with Configurable Inference Complexity [12.437778624898838]
  柔軟性のある構造と疎結合なアーキテクチャを組み合わせた統一的なフレームワークを導入し、デプロイ制約とタスク要求の両方に同時に適応するモデルを作成します。 提案手法では,コンテキストと目標の効率仕様の両方を規定したモデルバックボーンを用いて,推定時間における精度-効率トレードオフのきめ細かい制御を可能にする。
  論文  参考訳（メタデータ） (2026-10-05T20:18:26Z)
• RIPE-MambaSpike: Resolution-Independent Spiking-State-Space Interfaces for Parameter-Efficient Event-Based Vision [2.3322477552758234]
  スパイキング・マンバハイブリッドはイベントベースのビジョンにおいて高い精度に達するが、既存の設計では数千万のパラメータを必要とすることが多い。 200-MambaSpikeを導入し,一分解能に依存したプロジェクションを固定チャネル幅の階層的多分解能ブリッジに置き換える。 配置されたフットプリントは0.870Mパラメータであり、一定時間ステップで一定であり、入力領域の43倍の範囲にわたって幅がある。
  論文  参考訳（メタデータ） (2026-09-26T12:17:07Z)
• Variable-Width Transformers [57.07167443557886]
  本稿では,$times$-shaped > former architectureを提案する。 我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。 平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
  論文  参考訳（メタデータ） (2026-06-16T17:59:03Z)
• MoVE: Mixture of Value Embeddings -- A New Axis for Scaling Parametric Memory in Autoregressive Models [0.9222161299777548]
  我々は,モデルキャパシティの剛性構造結合を計算コストに分解するメカニズムである$textbfMoVE (Mixture of Value Embeddings)$を紹介した。 MoVEは、すべての注目層間で共有される学習可能な値埋め込みのグローバルバンクを導入することで、メモリを計算から切り離す。 自動回帰モデリングの2つの代表的応用であるテキスト生成と画像生成に関する厳密に制御された実験を通してMoVEを検証する。
  論文  参考訳（メタデータ） (2026-01-30T12:07:23Z)
• Hyperparameter Transfer with Mixture-of-Expert Layers [51.03005470884366]
  現代のニューラルネットワークをスケールアップするための重要なツールとして、Mixture-of-Experts(MoE)層が登場した。 モデル幅,深さ,専門家の数,(隠れた)サイズを拡大する際,MoE層を有するトランスフォーマーモデルのパラメータ化を提案する。
  論文  参考訳（メタデータ） (2026-01-28T03:02:30Z)
• Mixture-of-Modules: Reinventing Transformers as Dynamic Assemblies of Modules [96.21649779507831]
  そこで我々は,Mix-of-modules (MoM) と呼ばれる新しいアーキテクチャを提案する。 MoMは、任意の層がその位置に関係なくトークンを計算することができるという直感によって動機付けられている。 MoMはトランスフォーマーのための統一されたフレームワークを提供するだけでなく、冗長性を減らすための柔軟で学習可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-07-09T08:50:18Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。