論文の概要: Identifying Query-Relevant Neurons in Large Language Models for Long-Form Texts
- arxiv url: http://arxiv.org/abs/2406.10868v2
- Date: Mon, 19 Aug 2024 09:46:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 02:28:42.153822
- Title: Identifying Query-Relevant Neurons in Large Language Models for Long-Form Texts
- Title(参考訳): 長文用大言語モデルにおけるクエリ関連ニューロンの同定
- Authors: Lihu Chen, Adam Dejl, Francesca Toni,
- Abstract要約: 本稿では,大規模言語モデルにおけるクエリ関連ニューロンの同定が可能な,アーキテクチャに依存しない新しいフレームワークを提案する。
検出されたニューロンの知識編集およびニューロンによる予測への応用の可能性を示す。
- 参考スコア(独自算出の注目度): 14.69046890281591
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) possess vast amounts of knowledge within their parameters, prompting research into methods for locating and editing this knowledge. Previous work has largely focused on locating entity-related (often single-token) facts in smaller models. However, several key questions remain unanswered: (1) How can we effectively locate query-relevant neurons in contemporary autoregressive LLMs, such as Llama and Mistral? (2) How can we address the challenge of long-form text generation? (3) Are there localized knowledge regions in LLMs? In this study, we introduce Query-Relevant Neuron Cluster Attribution (QRNCA), a novel architecture-agnostic framework capable of identifying query-relevant neurons in LLMs. QRNCA allows for the examination of long-form answers beyond triplet facts by employing the proxy task of multi-choice question answering. To evaluate the effectiveness of our detected neurons, we build two multi-choice QA datasets spanning diverse domains and languages. Empirical evaluations demonstrate that our method outperforms baseline methods significantly. Further, analysis of neuron distributions reveals the presence of visible localized regions, particularly within different domains. Finally, we show potential applications of our detected neurons in knowledge editing and neuron-based prediction.
- Abstract(参考訳): 大規模言語モデル (LLM) はそのパラメータ内で膨大な量の知識を保有しており、この知識を探索し、編集する手法の研究を促す。
これまでの研究は、小さなモデルでエンティティ関連の事実(多くの場合、シングルトークン)を見つけることに重点を置いてきた。
1)LlamaやMistralのような現代自己回帰LDMにおいて、クエリ関連ニューロンを効果的に見つけるにはどうすればよいのか?
(2)長文テキスト生成の課題にどう対処すればよいか?
(3)LLMに局所的な知識領域はあるか?
本研究では,LLMにおけるクエリ関連ニューロンを識別できるアーキテクチャに依存しない新しいフレームワークであるQRNCA(Query-Relevant Neuron Cluster Attribution)を紹介する。
QRNCAは、多選択質問応答のプロキシタスクを利用することで、三重項事実を超えた長文回答の検証を可能にする。
検出されたニューロンの有効性を評価するため、様々なドメインや言語にまたがる2つの多色QAデータセットを構築した。
実験により,本手法がベースライン法を著しく上回ることを示す。
さらに、ニューロンの分布の解析により、特に異なる領域における可視的な局在領域の存在が明らかになる。
最後に,検出されたニューロンの知識編集およびニューロンによる予測への応用の可能性を示す。
関連論文リスト
- Multilingual Knowledge Editing with Language-Agnostic Factual Neurons [98.73585104789217]
大規模言語モデル(LLM)が多言語事実知識をどのように表すかを検討する。
異なる言語における同じ事実知識は一般的に、言語に依存しない事実ニューロンと呼ばれる共有ニューロンの集合を活性化する。
そこで本研究では,言語非依存のFactual Neurons (LAFN) を探索・修正し,多言語知識を同時に編集する新しいMKE法を提案する。
論文 参考訳(メタデータ) (2024-06-24T08:06:56Z) - Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [73.0661307151716]
本研究は、ニューロンを特定の入力に対して異なる言語にまたがる応答に応じて4つの異なるグループに分類することで、言語間でニューロンの活性化がどのように共有されるかを検討する。
分析の結果, (i) 言語的共有パターンはタスクの種類によって強く影響されるが, 同じタスクであっても異なる入力に対してニューロンの挙動が変化すること, (ii) 完全共有ニューロンが正しい応答を生成する上で重要な役割を担っていること, (iii) 完全共有ニューロンの増加による多言語的アライメントの促進により, 多言語的タスクの精度が向上すること,などが明らかになった。
論文 参考訳(メタデータ) (2024-06-13T16:04:11Z) - Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。
質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。
我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
論文 参考訳(メタデータ) (2024-05-26T22:30:29Z) - Learnable Privacy Neurons Localization in Language Models [19.984172475680182]
大規模言語モデル(LLM)内のPII感受性ニューロン(プライバシーニューロン)をピンポイントする先駆的手法を提案する。
本手法では,LLMのPIIを記憶する特定のニューロンを,対向訓練により局所化するために,学習可能な二重マスクを用いる。
局所的なプライバシニューロンを活性化させることにより、PIIリスク軽減の可能性を検証することを提案する。
論文 参考訳(メタデータ) (2024-05-16T08:11:08Z) - Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。
LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。
以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文 参考訳(メタデータ) (2024-02-26T09:36:05Z) - Identification of Knowledge Neurons in Protein Language Models [0.0]
キー情報の理解を表現した知識ニューロンを同定し,特徴付ける。
自己認識モジュールのキーベクトル予測ネットワークには,知識ニューロンの密度が高いことを示す。
将来的には、各ニューロンが捉えた知識の種類を特徴付けることができる。
論文 参考訳(メタデータ) (2023-12-17T17:23:43Z) - Unveiling A Core Linguistic Region in Large Language Models [49.860260050718516]
本稿では,脳局在化をプロトタイプとして用いた類似研究を行う。
我々は、言語能力に対応する大規模言語モデルにおいて、中核領域を発見した。
我々は,言語能力の向上が必ずしもモデルの知識レベルの向上に伴わないことを観察する。
論文 参考訳(メタデータ) (2023-10-23T13:31:32Z) - Discovering Salient Neurons in Deep NLP Models [31.18937787704794]
本稿では,モデル内のサルエントニューロンを抽出する言語相関解析法を提案する。
我々のデータ駆動量分析は興味深い発見を照らす。
我々のコードはNeuroXツールキットの一部として公開されています。
論文 参考訳(メタデータ) (2022-06-27T13:31:49Z) - Analyzing Individual Neurons in Pre-trained Language Models [41.07850306314594]
言語的タスクを予測できるニューロンのサブセットは、より少ないニューロンに局所化される低いレベルタスクと、より高いレベルの構文予測タスクとがある。
例えば、XLNet のニューロンは、BERT などの特性を予測する際により局所化され、解離し、より分散され、結合される。
論文 参考訳(メタデータ) (2020-10-06T13:17:38Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳(メタデータ) (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。