論文の概要: Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs

• arxiv url: http://arxiv.org/abs/2406.09265v1
• Date: Thu, 13 Jun 2024 16:04:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 16:55:18.351183
• Title: Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs
• Title（参考訳）: 共有事項:LLMにおける言語と課題におけるニューロンの分析
• Authors: Weixuan Wang, Barry Haddow, Wei Peng, Alexandra Birch,
• Abstract要約: 本研究は、ニューロンを特定の入力に対して異なる言語にまたがる応答に応じて4つの異なるグループに分類することで、言語間でニューロンの活性化がどのように共有されるかを検討する。 分析の結果, (i) 言語的共有パターンはタスクの種類によって強く影響されるが, 同じタスクであっても異なる入力に対してニューロンの挙動が変化すること, (ii) 完全共有ニューロンが正しい応答を生成する上で重要な役割を担っていること, (iii) 完全共有ニューロンの増加による多言語的アライメントの促進により, 多言語的タスクの精度が向上すること,などが明らかになった。
• 参考スコア（独自算出の注目度）: 73.0661307151716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual large language models (LLMs) have greatly increased the ceiling of performance on non-English tasks. However the mechanisms behind multilingualism in these LLMs are poorly understood. Of particular interest is the degree to which internal representations are shared between languages. Recent work on neuron analysis of LLMs has focused on the monolingual case, and the limited work on the multilingual case has not considered the interaction between tasks and linguistic representations. In our work, we investigate how neuron activation is shared across languages by categorizing neurons into four distinct groups according to their responses across different languages for a particular input: all-shared, partial-shared, specific, and non-activated. This categorization is combined with a study of neuron attribution, i.e. the importance of a neuron w.r.t an output. Our analysis reveals the following insights: (i) the linguistic sharing patterns are strongly affected by the type of task, but neuron behaviour changes across different inputs even for the same task; (ii) all-shared neurons play a key role in generating correct responses; (iii) boosting multilingual alignment by increasing all-shared neurons can enhance accuracy on multilingual tasks. The code is available at https://github.com/weixuan-wang123/multilingual-neurons.
• Abstract（参考訳）: 多言語大言語モデル (LLM) は、非英語タスクの性能を著しく向上させた。 しかし、これらのLLMにおける多言語主義のメカニズムは理解されていない。 特に興味深いのは、言語間で内部表現が共有される程度である。 LLMのニューロン解析に関する最近の研究はモノリンガルの場合に焦点を当てており、多言語の場合の限定的な研究はタスクと言語表現の相互作用を考慮していない。 本研究は、ニューロンを特定の入力のために異なる言語にまたがる応答に応じて4つの異なるグループに分類することで、言語間でニューロンの活性化がどのように共有されるかを検討する。 この分類は、ニューロンの属性の研究、すなわち、出力であるニューロン w.r.t の重要性と組み合わせられる。 我々の分析は以下の知見を明らかにしている。 一 言語的共有パターンは、タスクの種類に強く影響されるが、同じタスクであっても、異なる入力に対してニューロンの振る舞いが変化する。 (ii)全共有ニューロンは、正しい応答を発生させる上で重要な役割を担っている。 3) 全共有ニューロンの増大による多言語アライメントの促進は多言語タスクの精度を高めることができる。 コードはhttps://github.com/weixuan-wang123/multilingual-neuronsで公開されている。

関連論文リスト

• The LLM Language Network: A Neuroscientific Approach for Identifying Causally Task-Relevant Units [16.317199232071232]
  大規模言語モデル(LLM)は、言語タスクだけでなく、言語的でない様々なタスクにも顕著な能力を示す。 人間の脳では、神経科学は言語処理を選択的に因果的にサポートするコア言語システムを特定している。 言語選択単位を18のLLMで同定し、神経科学で用いられるのと同じ局所化手法を用いて同定する。
  論文  参考訳（メタデータ） (2024-11-04T17:09:10Z)
• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Towards Understanding Multi-Task Learning (Generalization) of LLMs via Detecting and Exploring Task-Specific Neurons [45.04661608619081]
  大規模言語モデル(LLM)におけるタスク依存ニューロンは,タスク固有データに対する勾配属性によって検出される。 タスク固有のニューロンの重複は、タスク間の一般化と特殊化と強く関連している。 連続学習において,現在のタスク固有ニューロンのみを微調整するニューロンレベルの連続微調整法を提案する。
  論文  参考訳（メタデータ） (2024-07-09T01:27:35Z)
• Revealing the Parallel Multilingual Learning within Large Language Models [50.098518799536144]
  本研究では,多言語大言語モデル(LLM)の文脈内学習能力を明らかにする。 入力を複数の言語に翻訳することで、並列入力(PiM)をLLMに提供し、その理解能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-14T03:33:46Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• Discovering Salient Neurons in Deep NLP Models [31.18937787704794]
  本稿では,モデル内のサルエントニューロンを抽出する言語相関解析法を提案する。 我々のデータ駆動量分析は興味深い発見を照らす。 我々のコードはNeuroXツールキットの一部として公開されています。
  論文  参考訳（メタデータ） (2022-06-27T13:31:49Z)
• Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models [84.86942006830772]
  多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。 43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
  論文  参考訳（メタデータ） (2022-05-04T12:22:31Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Analyzing Individual Neurons in Pre-trained Language Models [41.07850306314594]
  言語的タスクを予測できるニューロンのサブセットは、より少ないニューロンに局所化される低いレベルタスクと、より高いレベルの構文予測タスクとがある。 例えば、XLNet のニューロンは、BERT などの特性を予測する際により局所化され、解離し、より分散され、結合される。
  論文  参考訳（メタデータ） (2020-10-06T13:17:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。