論文の概要: NeuPAT: Neuron-aware Plasticity Allocation Tuning for Language-Preserving MLLMs
- arxiv url: http://arxiv.org/abs/2608.08107v1
- Date: Sat, 08 Aug 2026 12:40:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.672462
- Title: NeuPAT: Neuron-aware Plasticity Allocation Tuning for Language-Preserving MLLMs
- Title(参考訳): NeuPAT: 言語保存MLLMのためのニューロン認識型塑性アロケーションチューニング
- Abstract要約: 大規模言語モデルのマルチモーダル拡張は、事前訓練中に獲得した言語インテリジェンスを損なう。
NeuPAT(Neuron-aware Plasticity Allocation Tuning)は,マルチモーダル・インストラクション・チューニング中にニューロンの更新制約を割り当てるフレームワークである。
NeuPATは、11の言語ベンチマークにおけるバニラチューニングによる言語機能低下の94.5%を回復し、同等のマルチモーダルパフォーマンスを維持している。
- 参考スコア(独自算出の注目度): 15.463007687234743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal expansion of large language models (LLMs) enables new perceptual capabilities but often compromises the language intelligence acquired during pretraining. In this work, we investigate this phenomenon from the perspective of internal adaptation dynamics and discover that neurons in pretrained LLMs exhibit heterogeneous plasticity during multimodal learning: some neurons are critical for preserving language capabilities, while others are more adaptive to multimodal knowledge. Based on this insight, we propose NeuPAT (Neuron-aware Plasticity Allocation Tuning), a lightweight and architecture-agnostic framework that allocates neuron-wise update constraints during multimodal instruction tuning. NeuPAT uses a small-scale probing stage to estimate neuron adaptation patterns and selectively protects language-sensitive neurons while promoting multimodal adaptation through more plastic neurons. Experiments across diverse LLM families demonstrate that NeuPAT recovers 94.5\% of the language capability degradation caused by vanilla tuning on 11 language benchmarks while maintaining comparable multimodal performance, providing an effective approach for capability-preserving multimodal expansion.
- Abstract(参考訳): 大規模言語モデル(LLM)のマルチモーダル拡張は、新しい知覚能力を実現するが、事前訓練中に獲得した言語インテリジェンスを損なうことが多い。
本研究では、この現象を内部適応力学の観点から検討し、事前学習されたLLMのニューロンが多モーダル学習中に不均一な可塑性を示すことを発見した。
この知見に基づいて,マルチモーダル・インストラクション・チューニング中にニューロンの更新制約を割り当てる軽量かつアーキテクチャに依存しないフレームワークであるNeuPAT(Neuron-aware Plasticity Allocation Tuning)を提案する。
NeuPATは小規模の探索段階を用いてニューロン適応パターンを推定し、より多くのプラスティックニューロンを介して多モード適応を促進しながら言語感受性ニューロンを選択的に保護する。
多様なLLMファミリーを対象とした実験により、NeuPATは11の言語ベンチマーク上でのバニラチューニングによる言語能力低下の94.5\%を回復し、同等のマルチモーダルパフォーマンスを維持しながら、能力保存型マルチモーダル拡張に対する効果的なアプローチを提供する。
関連論文リスト
- Tiny Brains, Giant Impact: Uncovering the Keystone Neurons of LLM with Just a Few Prompts [57.98275914877019]
広い範囲のオープンウェイトトランスフォーマーにおいて、ニューロンのサブセットは、複数の能力次元のタスクをまたいだ推論において、常に高度に活性化されることが示される。
クロスタスク活性化強度に沿って探索することにより、非常にスパースなサブセットが分離され、その除去はモデル挙動の崩壊を引き起こす。
解析の結果,キーストーンニューロンは,前訓練中にほぼ確立されたモデルの安定で内在的なニューロンサブセットであることが明らかとなった。
論文 参考訳(メタデータ) (2026-05-24T03:31:07Z) - MNAFT: modality neuron-aware fine-tuning of multimodal large language models for image translation [19.679466742536892]
MLLM(Multimodal large language model)は印象的な機能を示しているが、画像内の微細なテキスト情報を効果的に捉えるのに苦労することが多い。
既存の手法は、主に命令の微調整、事前訓練された知識のリスクパラメータ冗長性に依存し、一般化性能を妨げている。
MNAFTは,MLLM内の個々のニューロンの役割を活かし,画像翻訳の高度化を図る手法である。
論文 参考訳(メタデータ) (2026-04-18T09:54:20Z) - Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer [65.72553715508691]
我々は,多段階の推論と構成決定を必要とするタスクにおいて,LVLMが強いテキストのみの大規模言語モデル(LLM)に遅れていることを示す。
LLMからLVLMへ成熟型推論回路を転送するパラメータ効率の高いフレームワークである共有ニューロン低ランク融合(SNRF)を提案する。
その結果、共有ニューロンはLLMとLVLMの間の解釈可能なブリッジを形成し、低コストでマルチモーダルモデルへの推論能力の移行を可能にした。
論文 参考訳(メタデータ) (2026-02-22T06:04:05Z) - Sparse Subnetwork Enhancement for Underrepresented Languages in Large Language Models [11.719190735841407]
大規模な言語モデルは、言語間で不均一なパフォーマンスを示す。
表現不足言語におけるLLMの単言語機能向上のためのフレームワークを提案する。
言語活性化確率エントロピーを用いて言語特異的ニューロンを同定し,これらのニューロンに付随する重みのみを微細トンネルで同定する。
論文 参考訳(メタデータ) (2025-10-15T14:14:49Z) - Language-Specific Layer Matters: Efficient Multilingual Enhancement for Large Vision-Language Models [60.39744129890118]
大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する能力を示す。
本研究では,LVLMの多言語理解能力と浅い層における言語特異的ニューロン活性化の関連性を明らかにする。
精密LAnguage-Specific 層ファインチューニングによるLVLMの多言語化を実現する学習レシピ PLAST を紹介する。
論文 参考訳(メタデータ) (2025-08-25T18:15:25Z) - Language Arithmetics: Towards Systematic Language Neuron Identification and Manipulation [9.518772041855923]
Llama-3.1-8B, Mistral-Nemo-12B, Aya-Expanse-8B & 32B の言語特異的ニューロンを21言語で解析した。
これらのニューロンはより深い層に集結し、非ラテン語のスクリプトはより高度な特殊化を示す。
不要な言語を非活性化し、望ましい言語をアクティベートし、より単純な代替アプローチよりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2025-07-30T12:23:39Z) - The Emergence of Abstract Thought in Large Language Models Beyond Any Language [95.50197866832772]
大規模言語モデル(LLM)は様々な言語で効果的に機能する。
予備的研究では、LLMの隠れた活性化は、英語以外のプロンプトに反応してもしばしば英語に類似している。
近年の結果は多言語のパフォーマンスが強く、他の言語での特定のタスクにおける英語のパフォーマンスを超えている。
論文 参考訳(メタデータ) (2025-06-11T16:00:54Z) - How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective [64.79894853375478]
本稿では,言語ニューロン(言語特異的ニューロンや言語関連ニューロンを含む)と言語非依存ニューロンを検出する,より微細なニューロン識別アルゴリズムを提案する。
異なる種類のニューロンの分布特性に基づいて、多言語推論のためのLCMの内部過程を4つの部分に分割する。
我々は、異なる種類のニューロンに焦点を合わせ、その前後のモデルを体系的に分析する。
論文 参考訳(メタデータ) (2025-05-27T17:59:52Z) - Locate-then-Merge: Neuron-Level Parameter Fusion for Mitigating Catastrophic Forgetting in Multimodal LLMs [19.472889262384818]
本稿では,重要なパラメータを抽出し,それらを選択的にマージする学習自由パラメータ融合フレームワークを提案する。
我々は,大きなパラメータシフトを持つニューロンの影響を保ったニューロンレベルの戦略であるニューロン融合を導入する。
言語と視覚タスクの両方にわたる13のベンチマークによる実験では、Neuron-Fusionが既存のモデルマージメソッドを一貫して上回っていることが示されている。
論文 参考訳(メタデータ) (2025-05-22T14:04:43Z) - Neuron Specialization: Leveraging intrinsic task modularity for multilingual machine translation [7.376832526909754]
統一多言語モデルの訓練は知識伝達を促進するが、必然的に負の干渉をもたらす。
我々は、フィードフォワード層をモジュール化し、スパースネットワークを介して継続的に更新する、特殊なニューロンを識別するアプローチであるNeuronを提案する。
論文 参考訳(メタデータ) (2024-04-17T09:33:19Z) - Revealing the Parallel Multilingual Learning within Large Language Models [50.098518799536144]
本研究では,多言語大言語モデル(LLM)の文脈内学習能力を明らかにする。
入力を複数の言語に翻訳することで、並列入力(PiM)をLLMに提供し、その理解能力を大幅に向上させる。
論文 参考訳(メタデータ) (2024-03-14T03:33:46Z) - How do Large Language Models Handle Multilingualism? [81.15060972112563]
本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。
LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。
中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。