論文の概要: CORTEX: Learning to Share and Specialize in Dense Language Models

• arxiv url: http://arxiv.org/abs/2609.34449v1
• Date: Mon, 28 Sep 2026 07:05:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 13:30:29.773468
• Title: CORTEX: Learning to Share and Specialize in Dense Language Models
• Title（参考訳）: CORTEX: ディエンス言語モデルの共有と専門化を学ぶ
• Abstract要約: CORTEXは、高密度言語モデルの内部モジュール化を学習する学習力学にインスパイアされたフレームワークである。 160M、Qwen3-8B、Qwen3-32Bのバックボーンモデルを用いた実験により、CORTEXは最も高い合成ドメインの正確な一致と最大の平均パープレキシティ低減を達成することが示された。
• 参考スコア（独自算出の注目度）: 19.973768722251393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are trained on heterogeneous data mixtures, where different knowledge domains require both shared knowledge and specialization. Existing modular approaches typically impose explicit components or discover modules through interpretability analysis after training. In this work, we propose CORTEX, a learning dynamics-inspired framework that learns internal modularization within dense language models. CORTEX partitions trainable matrices into parameter groups and learns module assignments from domain-conditioned gradient and cross-domain gradient similarity. We introduce the selective lesion score and module-domain mutual information to characterize the target-domain lesion effects and alignment, and analyze how module assignment affects the trade-off between assignment bias and update magnitude. Experiments with 160M, Qwen3-8B, and Qwen3-32B backbone models show that CORTEX achieves the highest synthetic-domain exact match and largest average perplexity reduction, while remaining competitive on real-domain evaluations and forming identifiable modules.
• Abstract（参考訳）: 大規模言語モデルは、異なる知識領域が共有知識と専門知識の両方を必要とする異種データ混合に基づいて訓練される。 既存のモジュラーアプローチでは、トレーニング後に明示的なコンポーネントを課したり、解釈可能性の分析を通じてモジュールを発見するのが一般的である。 本研究では,高密度言語モデルの内部モジュール化を学習する学習力学に着想を得たフレームワークであるCORTEXを提案する。 CORTEXはトレーニング可能な行列をパラメータ群に分割し、ドメイン条件付き勾配とクロスドメイン勾配の類似性からモジュール割り当てを学ぶ。 対象領域の病変効果とアライメントを特徴付けるために、選択的病変スコアとモジュール領域相互情報を導入し、モジュール割り当てが割り当てバイアスと更新大きさのトレードオフにどのように影響するかを分析する。 160M, Qwen3-8B, Qwen3-32B のバックボーンモデルを用いた実験により, CORTEX は実領域評価と識別可能なモジュール形成において競争力を維持しながら, 最大合成領域の完全一致と最大平均パープレキシティ低減を達成することが示された。

関連論文リスト

• Sparse Competition during Training For the Emergence of Specialized Modules [0.0]
  トレーニング中のニューロン群間の競合ダイナミクスによるモジュラー構造の出現について検討する。 この結果から,競争力学は標準アーキテクチャにおける機能的モジュラリティを誘導する単純なメカニズムとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-08-31T15:37:39Z)
• Community Detection on Model Explanation Graphs for Explainable AI [0.0]
  モジュール・オブ・インフルエンス(MoI)は、インスタンスごとの属性からモデル説明グラフを構築する。 MoIはコミュニティ検出を適用して、予測に共同で影響を与える機能モジュールを見つけ、これらのモジュールがバイアス、冗長性、因果パターンにどのように関係しているかを定量化する。 我々は,モジュール発見をXAIでベンチマークするために,安定性と相乗効果の指標,参照実装,評価プロトコルをリリースする。
  論文  参考訳（メタデータ） (2025-10-31T17:27:56Z)
• PDC-Net: Pattern Divide-and-Conquer Network for Pelvic Radiation Injury Segmentation [42.073820114256826]
  PRIセグメンテーションのためのPattern Divide-and-Conquer Network (PDC-Net)を提案する。 コアとなる考え方は、さまざまなネットワークモジュールを使用して、さまざまなローカルパターンとグローバルパターンを“分割”することだ。 骨盤内放射線損傷の最初の大規模データセットについて検討した。
  論文  参考訳（メタデータ） (2025-06-21T13:25:19Z)
• StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
  単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。 データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
  論文  参考訳（メタデータ） (2024-06-01T02:41:34Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Learning to Augment via Implicit Differentiation for Domain Generalization [107.9666735637355]
  ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。 本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。 AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
  論文  参考訳（メタデータ） (2022-10-25T18:51:51Z)
• Understanding Domain Learning in Language Models Through Subpopulation Analysis [35.16003054930906]
  現代のニューラルネットワークアーキテクチャにおいて、異なるドメインがどのようにコード化されているかを調べる。 我々は、自然言語領域、モデルサイズ、使用したトレーニングデータ量との関係を分析する。
  論文  参考訳（メタデータ） (2022-10-22T21:12:57Z)
• Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
  本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。 BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-08-22T09:07:02Z)
• Adversarial Semantic Hallucination for Domain Generalized Semantic Segmentation [50.14933487082085]
  本稿では,クラスワイド・幻覚モジュールとセマンティック・セグメンテーション・モジュールを組み合わせた対向幻覚手法を提案する。 対象とするドメインデータをトレーニングに使用できない場合に,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-06-08T07:07:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。