論文の概要: Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning

• arxiv url: http://arxiv.org/abs/2604.01152v1
• Date: Wed, 01 Apr 2026 17:08:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:32.10916
• Title: Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning
• Title（参考訳）: Brainstacks: 連続LLM学習のための冷凍MoE-LoRAスタックによるクロスドメイン認知能力
• Authors: Mohammad R. Abu Ayyash,
• Abstract要約: Brainstacksは、大規模言語モデルの連続的なマルチドメイン微調整のためのモジュラーアーキテクチャである。 ドメインの専門知識を、推論時に共有されたフリーズベースで追加的に構成するフリーズアダプタスタックとしてパッケージする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Brainstacks, a modular architecture for continual multi-domain fine-tuning of large language models that packages domain expertise as frozen adapter stacks composing additively on a shared frozen base at inference. Five interlocking components: (1) MoE-LoRA with Shazeer-style noisy top-2 routing across all seven transformer projections under QLoRA 4-bit quantization with rsLoRA scaling; (2) an inner loop performing residual boosting by freezing trained stacks and adding new ones; (3) an outer loop training sequential domain-specific stacks with curriculum-ordered dependencies; (4) null-space projection via randomized SVD constraining new stacks to subspaces orthogonal to prior directions, achieving zero forgetting in isolation; (5) an outcome-based sigmoid meta-router trained on empirically discovered domain-combination targets that selectively weights stacks, enabling cross-domain composition. Two boundary experiments: (6) PSN pretraining on a randomly initialized model; (7) per-domain RL (DPO/GRPO) validating compatibility with post-SFT alignment. Validated on TinyLlama-1.1B (4 domains, 9 stacks) and Gemma 3 12B IT (5 domains, 10 stacks), MoE-LoRA achieves 2.5x faster convergence than parameter-matched single LoRA, residual boosting breaks through the single-stack ceiling, and the routed system recovers generation quality destroyed by ungated stack accumulation. The central finding: the outcome-based router discovers that domain stacks encode transferable cognitive primitives (instruction-following clarity, numerical reasoning, procedural logic, chain-of-thought structure) rather than domain-specific knowledge, with medical prompts routing to chat+math stacks in 97% of cases despite zero medical data in those stacks.
• Abstract（参考訳）: 提案するBrainstacksは、大規模言語モデルの連続的なマルチドメイン微調整のためのモジュールアーキテクチャで、ドメインの専門知識を冷凍アダプタスタックとしてパッケージ化し、推論時に共有されたフリーズベースで追加的に構成する。 1) QLoRA 4ビットの量子化とrsLoRAスケーリングによる7つのトランスフォーマープロジェクションをルーティングするMoE-LoRAとShazeerスタイルのノイズトップ2のルーティング、(2) トレーニングされたスタックを凍結し、新しいものを追加する内部ループ、(3) カリキュラムに順序づけられた依存関係を持つ連続的なドメイン固有スタックをトレーニングする外部ループ、(4) ランダム化されたSVDによるヌルスペースプロジェクションにより、新しいスタックを前向きに直交するサブスペースに制約し、分離をゼロにすること、(5) 実験的に発見されたドメイン結合ターゲットに基づいてトレーニングされた結果ベースのシグミドメタルータで、クロスドメイン合成を可能にし、クロスドメイン合成を可能にする。 2つの境界実験: (6) PSN をランダムに初期化モデルで事前訓練し、 (7) ドメインごとの RL (DPO/GRPO) をSFT後アライメントと整合性を検証する。 TinyLlama-1.1B (4ドメイン、9スタック)とGemma 3 12B IT (5ドメイン、10スタック)で検証されたMoE-LoRAは、パラメータマッチングされたシングルLORAよりも2.5倍早く収束し、シングルスタックの天井を余分に突破し、無ゲートスタックの蓄積によって破壊される生成品質を回復する。 中心的な発見:結果に基づくルータは、ドメイン固有の知識よりも、転送可能な認知プリミティブ(指示、数値的推論、手続き論理、連鎖構造)をエンコードしている。

関連論文リスト

• LAAF: Logic-layer Automated Attack Framework A Systematic Red-Teaming Methodology for LPCI Vulnerabilities in Agentic Large Language Model Systems [0.39875976220956705]
  LAAFは、LPCI固有のテクニックと段階的なシードエスカレーションを組み合わせた最初の自動化赤チームフレームワークである。 LAAFは単技術ランダムテストよりも高いステージブレークスルー効率が得られることを示す。
  論文  参考訳（メタデータ） (2026-03-18T00:51:36Z)
• BRIDGE: Building Representations In Domain Guided Program Verification [67.36686119518441]
  BRIDGEは、検証をコード、仕様、証明の3つの相互接続ドメインに分解する。 提案手法は, 標準誤差フィードバック法よりも精度と効率を著しく向上することを示す。
  論文  参考訳（メタデータ） (2025-11-26T06:39:19Z)
• LLM-EDT: Large Language Model Enhanced Cross-domain Sequential Recommendation with Dual-phase Training [53.539682966282534]
  クロスドメインシーケンスレコメンデーション (CDSR) は、様々なドメインからの情報を取り入れることで、ユーザとイテムのインタラクションを強化するために提案されている。 現在の進歩にもかかわらず、不均衡問題と移行問題はCDSRのさらなる発展を妨げる。 デュアルフェーズトレーニング(LLM-EDT)によるLLMの拡張型クロスドメインシーケンスレコメンデーションを提案する。
  論文  参考訳（メタデータ） (2025-11-25T05:18:04Z)
• TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
  TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。 報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
  論文  参考訳（メタデータ） (2025-11-07T16:08:34Z)
• FlyLoRA: Boosting Task Decoupling and Parameter Efficiency via Implicit Rank-Wise Mixture-of-Experts [44.21416999726094]
  Low-Rank Adaptation (LoRA) は基礎モデルのパラメータ効率の高い微調整法である。 MoEベースのLoRA変種は、単一タスクの命令チューニングにおいて、タスク内相関を緩和する。 FlyLoRA は暗黙の MoE ベースの LoRA 変種であり、アッププロジェクション行列にランクワイズの専門家アクティベーションを導入する。
  論文  参考訳（メタデータ） (2025-10-09T16:17:13Z)
• Efficient Modular Learning through Naive LoRA Summation: Leveraging Orthogonality in High-Dimensional Models [1.0923877073891446]
  Low-Rank Adaptation (LoRA)はパラメータデルタを2つの小さな行列の積として保存する。 Naive summationは追加のトレーニングを必要とせず、数秒で適用でき、マージされたデータでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-16T08:49:02Z)
• LLM-Based Emulation of the Radio Resource Control Layer: Towards AI-Native RAN Protocols [28.04609776570199]
  大型AIモデル(LAM)はAI-Native Air Interface(AI-AI)の重要な実現要因である 本稿では,デコーダのみのLAMを用いた無線リソース制御層の最初の標準準拠エミュレーションを提案する。 その結果,LSMをプロトコル対応推論で拡張すると,制御プレーンの手順を直接オーケストレーションできることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T15:55:56Z)
• ConvLoRA and AdaBN based Domain Adaptation via Self-Training [4.006331916849688]
  マルチターゲットドメイン適応のための畳み込み低ランク適応(ConvLoRA)を提案する。 ConvLoRAはトレーニング済みのモデルウェイトを凍結し、畳み込み層にトレーニング可能な低ランク分解行列を追加し、勾配をバックプロパゲートする。 提案手法はトレーニング可能なパラメータを少なくし,大規模独立微調整ネットワークと同等あるいは同等に動作する。
  論文  参考訳（メタデータ） (2024-02-07T15:43:50Z)
• Virtual Classification: Modulating Domain-Specific Knowledge for Multidomain Crowd Counting [67.38137379297717]
  マルチドメインのクラウドカウントは、複数の多様なデータセットの一般的なモデルを学ぶことを目的としている。 ディープネットワークは、ドメインバイアスとして知られるすべてのドメインではなく、支配的なドメインの分布をモデル化することを好む。 マルチドメイン群カウントにおけるドメインバイアス問題を処理するために,MDKNet(Modulating Domain-specific Knowledge Network)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:49:04Z)
• Asymmetric Transfer Hashing with Adaptive Bipartite Graph Learning [95.54688542786863]
  既存のハッシュ法では、クエリと検索サンプルは同じドメイン内の同質な特徴空間にあると仮定する。 教師なし/半教師付き/教師付き実現のための非対称トランスファーハッシュ(ATH)フレームワークを提案する。 非対称ハッシュ関数と二部グラフを共同最適化することにより、知識伝達が達成できるだけでなく、特徴アライメントによる情報損失も回避できる。
  論文  参考訳（メタデータ） (2022-06-25T08:24:34Z)
• Efficient Hierarchical Domain Adaptation for Pretrained Language Models [77.02962815423658]
  生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。 計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T11:09:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。