論文の概要: Disentangling Task Interference within Neurons: Model Merging in Alignment with Neuronal Mechanisms

• arxiv url: http://arxiv.org/abs/2503.05320v1
• Date: Fri, 07 Mar 2025 11:00:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:23:41.427035
• Title: Disentangling Task Interference within Neurons: Model Merging in Alignment with Neuronal Mechanisms
• Title（参考訳）: ニューロン内におけるタスク干渉の遠位化--神経機構を考慮したモデル統合
• Authors: Zitao Fang, Guodong DU, Shuyang Yu, Yifei Guo, Yiwei Zhang, Jing Li, Ho-Kin Tang, Sim Kuan Goh,
• Abstract要約: モデルマージにおける神経アライメントの影響について検討した。 神経サブスペース内のタスク干渉を軽減するために開発された新しい統合フレームワークであるNeuroMergingを紹介する。
• 参考スコア（独自算出の注目度）: 9.230323472193918
• License:
• Abstract: Fine-tuning pre-trained models on targeted datasets enhances task-specific performance but often comes at the expense of generalization. Model merging techniques, which integrate multiple fine-tuned models into a single multi-task model through task arithmetic at various levels: model, layer, or parameter, offer a promising solution. However, task interference remains a fundamental challenge, leading to performance degradation and suboptimal merged models. Existing approaches largely overlook the fundamental role of individual neurons and their connectivity, resulting in a lack of interpretability in both the merging process and the merged models. In this work, we present the first study on the impact of neuronal alignment in model merging. We decompose task-specific representations into two complementary neuronal subspaces that regulate neuron sensitivity and input adaptability. Leveraging this decomposition, we introduce NeuroMerging, a novel merging framework developed to mitigate task interference within neuronal subspaces, enabling training-free model fusion across diverse tasks. Through extensive experiments, we demonstrate that NeuroMerging achieves superior performance compared to existing methods on multi-task benchmarks across both vision and natural language domains. Our findings highlight the importance of aligning neuronal mechanisms in model merging, offering new insights into mitigating task interference and improving knowledge fusion.
• Abstract（参考訳）: ターゲットデータセット上の微調整済みモデルでは、タスク固有のパフォーマンスが向上するが、一般化のコストがかかることが多い。 複数の微調整されたモデルを1つのマルチタスクモデルに統合するモデルマージ技術は、モデル、層、パラメータといった様々なレベルでのタスク演算を通じて、有望なソリューションを提供する。 しかし、タスク干渉は根本的課題であり、性能劣化と準最適マージモデルに繋がる。 既存のアプローチは、個々のニューロンの基本的な役割と接続性を見落とし、マージプロセスとマージモデルの両方において解釈可能性の欠如をもたらす。 本研究は,モデル統合における神経細胞アライメントの影響に関する最初の研究である。 タスク固有の表現を2つの補完的なニューロン部分空間に分解し、ニューロンの感度と入力適応性を制御する。 この分解を活用して、ニューロンサブスペース内のタスク干渉を軽減するために開発された新しい統合フレームワークであるNeuroMergingを導入する。 広範にわたる実験により、NuroMergingは、視覚領域と自然言語領域の両方にわたるマルチタスクベンチマークの既存手法と比較して、優れた性能を発揮することを示した。 本研究は, モデル統合におけるニューロン機構の整合の重要性を強調し, タスク干渉の緩和と知識融合の改善に関する新たな知見を提供する。

関連論文リスト

• Single-neuron deep generative model uncovers underlying physics of neuronal activity in Ca imaging data [0.0]
  自己回帰変分オートエンコーダ(AVAE)を用いた単一ニューロン表現学習のための新しいフレームワークを提案する。 我々のアプローチでは、スパイク推論アルゴリズムを必要とせずに、個々のニューロンの信号を縮小次元空間に埋め込む。 AVAEは、より情報的で差別的な潜在表現を生成することによって、従来の線形手法よりも優れている。
  論文  参考訳（メタデータ） (2025-01-24T16:33:52Z)
• BLEND: Behavior-guided Neural Population Dynamics Modeling via Privileged Knowledge Distillation [6.3559178227943764]
  本稿では,特権的知識蒸留による行動誘導型ニューラル人口動態モデリングフレームワークBLENDを提案する。 特権情報として行動を考えることにより、行動観察(私的特徴)と神経活動(正規特徴)の両方を入力として扱う教師モデルを訓練する。 学生モデルは神経活動のみを用いて蒸留される。
  論文  参考訳（メタデータ） (2024-10-02T12:45:59Z)
• Modularity in Transformers: Investigating Neuron Separability & Specialization [0.0]
  トランスフォーマーモデルは様々なアプリケーションでますます普及していますが、内部動作に対する我々の理解は限定的です。 本稿では、視覚(ViT)モデルと言語(Mistral 7B)モデルの両方に着目し、トランスフォーマーアーキテクチャ内のニューロンのモジュラリティとタスクの特殊化について検討する。 選択的プルーニングとMoEficationクラスタリングの組み合わせを用いて、異なるタスクやデータサブセットにわたるニューロンの重複と特殊化を分析する。
  論文  参考訳（メタデータ） (2024-08-30T14:35:01Z)
• Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
  最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。 視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。 我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
  論文  参考訳（メタデータ） (2023-10-31T20:17:32Z)
• Persistent-Transient Duality: A Multi-mechanism Approach for Modeling Human-Object Interaction [58.67761673662716]
  人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。 人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。 本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-07-24T12:21:33Z)
• Understanding Neural Coding on Latent Manifolds by Sharing Features and Dividing Ensembles [3.625425081454343]
  システム神経科学は、単一ニューロンのチューニング曲線と集団活動の分析を特徴とする2つの相補的な神経データ観に依存している。 これらの2つの視点は、潜伏変数とニューラルアクティビティの関係を制約するニューラル潜伏変数モデルにおいてエレガントに結合する。 ニューラルチューニング曲線にまたがる機能共有を提案し、性能を大幅に改善し、より良い最適化を実現する。
  論文  参考訳（メタデータ） (2022-10-06T18:37:49Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。