Fugu-MT 論文翻訳(概要): Probing Neural Topology of Large Language Models

論文の概要: Probing Neural Topology of Large Language Models

arxiv url: http://arxiv.org/abs/2506.01042v2
Date: Thu, 25 Sep 2025 20:23:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-29 14:23:57.418029
Title: Probing Neural Topology of Large Language Models
Title（参考訳）: 大規模言語モデルのニューラルトポロジーの探索
Authors: Yu Zheng, Yuan Yuan, Yue Zhuo, Yong Li, Paolo Santi,
Abstract要約: 本稿では,大規模言語モデルの機能的接続を明らかにするためのグラフ探索手法を提案する。多様なLLMファミリーやスケールのモデルを探索することにより、次の予測性能の普遍的な予測可能性を見出す。興味深いことに、トポロジーの探索は、最大130.4%のアクティベーションでの探索よりも優れている。
参考スコア（独自算出の注目度）: 12.298921317333452
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Probing large language models (LLMs) has yielded valuable insights into their internal mechanisms by linking neural activations to interpretable semantics. However, the complex mechanisms that link neuron's functional co-activation with the emergent model capabilities remains largely unknown, hindering a deeper understanding and safer development of LLMs. In this work, we introduce graph probing, a method for uncovering the functional connectivity of LLM neurons and relating it to language generation performance. By probing models across diverse LLM families and scales, we discover a universal predictability of next-token prediction performance using only neural topology, which persists even when retaining just 1% of neuron connections. Strikingly, probing on topology outperforms probing on activation by up to 130.4%, suggesting that neural topology contains orders of richer information of LLM performance than neural activation, which can be easily extracted with simple linear or MLP probes. To explain the dependence between neural topology and language performance, we identify default networks and hub neurons in LLMs and provide causal evidence by interventional experiments on multiple benchmarks, showing that LLMs actually exploit these topological information. Further analyses suggest that neural topology can be effectively leveraged to improve the efficiency, reliability, and safety of LLMs through proof-of-concept applications in model pruning, hallucination detection, and LLM fingerprinting. Codes and data for the graph probing toolbox are available at https://github.com/DavyMorgan/llm-graph-probing.
Abstract（参考訳）: 大型言語モデル(LLM)の探索は、ニューラルアクティベーションと解釈可能なセマンティクスをリンクすることによって、その内部メカニズムに関する貴重な洞察を得た。しかし、ニューロンの機能的コアクティベーションと創発的モデル能力とを結びつける複雑なメカニズムはほとんど不明であり、LSMのより深い理解とより安全な開発を妨げる。本研究では,LLMニューロンの機能的接続を明らかにするためのグラフ探索と言語生成性能について述べる。様々なLLMファミリーやスケールのモデルを探索することにより、ニューラルトポロジーのみを用いて次のトポロジー予測性能の普遍的な予測可能性を発見し、わずか1%のニューロン接続を保持しても持続する。興味深いことに、トポロジに関する探索は、最大130.4%のアクティベーションにより、神経トポロジは、単純な線形またはMLPプローブで容易に抽出できる神経アクティベーションよりも、LLMパフォーマンスの豊富な情報を含むことを示唆している。ニューラルトポロジと言語性能の依存性を説明するため、LLMのデフォルトネットワークとハブニューロンを特定し、複数のベンチマークに対する介入実験による因果証拠を提供し、LLMが実際にこれらのトポロジ情報を利用することを示す。さらに、モデルプルーニング、幻覚検出、LLMフィンガープリントにおける概念実証を通じて、LLMの効率、信頼性、安全性を向上させるために、神経トポロジーを効果的に活用できることが示唆されている。グラフ探索ツールボックスのコードとデータはhttps://github.com/DavyMorgan/llm-graph-probing.comで公開されている。

関連論文リスト

Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer [65.72553715508691]
我々は,多段階の推論と構成決定を必要とするタスクにおいて,LVLMが強いテキストのみの大規模言語モデル(LLM)に遅れていることを示す。 LLMからLVLMへ成熟型推論回路を転送するパラメータ効率の高いフレームワークである共有ニューロン低ランク融合(SNRF)を提案する。その結果、共有ニューロンはLLMとLVLMの間の解釈可能なブリッジを形成し、低コストでマルチモーダルモデルへの推論能力の移行を可能にした。
論文参考訳（メタデータ） (2026-02-22T06:04:05Z)
NeuroMambaLLM: Dynamic Graph Learning of fMRI Functional Connectivity in Autistic Brains Using Mamba and Language Model Reasoning [0.0]
我々は,動的潜在グラフ学習とLarge Language Models (LLM) を用いた選択状態空間時間モデルを統合するエンドツーエンドフレームワークであるNeuroMambaLLMを提案する。提案手法は生の血液酸素レベル依存(BOLD)時系列から動的に機能接続を学習し,固定された相関グラフを適応的な潜在接続に置き換えると共に,動作関連アーティファクトの抑制と長距離時間依存性のキャプチャを行う。この設計により、LLMは診断分類と言語に基づく推論の両方を実行でき、ダイナミックなfMRIパターンを分析し、臨床的に意味のあるテキストレポートを生成することができる。
論文参考訳（メタデータ） (2026-02-14T13:32:59Z)
Pruning Large Language Models by Identifying and Preserving Functional Networks [41.601762545495255]
構造化プルーニング(Structured pruning)は、大きな言語モデル(LLM)を圧縮してGPUメモリの消費を減らし、推論速度を高速化する技術である。ほとんどの構造化プルーニング法は、LLMの機能に不可欠な人工ニューロン間の相互作用と協調を見落としている。人工ニューラルネットワークと人間の脳における機能的ニューラルネットワークの固有の類似性から着想を得て,機能的ネットワークを同定・保存し,LLMを創出することを提案する。
論文参考訳（メタデータ） (2025-08-07T10:27:01Z)
NLP4Neuro: Sequence-to-sequence learning for neural population decoding [0.9086712846902969]
動物の行動が神経活動からどのように起こるかを説明することは神経科学の基礎的な目標である。現代の大規模言語モデル(LLM)のバックボーンであるトランスフォーマーは、より小さな神経集団からの神経復号のための強力なツールとなっている。
論文参考訳（メタデータ） (2025-07-03T03:14:55Z)
Decomposing MLP Activations into Interpretable Features via Semi-Nonnegative Matrix Factorization [17.101290138120564]
現在の手法は、スパースオートエンコーダ(SAE)を用いた辞書学習に依存している。ここでは、セミ非負行列分解(SNMF)によるアクティベーションを直接分解することで、これらの制限に対処する。 Llama 3.1, Gemma 2, GPT-2の実験では、SNMFはSAEよりも優れており、因果的ステアリングに強い教師付きベースライン(差-in-means)がある。
論文参考訳（メタデータ） (2025-06-12T17:33:29Z)
Brain-Inspired Exploration of Functional Networks and Key Neurons in Large Language Models [53.91412558475662]
我々は,大言語モデル(LLM)における機能的ネットワークの探索と同定のために,機能的ニューロイメージング解析の分野における機能的ニューロイメージングと類似した手法を用いる。実験の結果、人間の脳と同様、LLMは手術中に頻繁に再帰する機能的ネットワークを含んでいることが明らかとなった。主要な機能的ネットワークのマスキングはモデルの性能を著しく損なう一方、サブセットだけを保持することは効果的な操作を維持するのに十分である。
論文参考訳（メタデータ） (2025-02-13T04:42:39Z)
Explainability in Neural Networks for Natural Language Processing Tasks [5.812284760539713]
LIME(Local Interpretable Model-Agnostic Explanations)は、複雑なシステムの振る舞いに関する洞察を提供するための重要なツールである。本研究では、LIMEを利用してテキスト分類タスクで訓練された多層パーセプトロン(MLP)ニューラルネットワークを解釈する。ローカライズされた説明を提供することの有効性にもかかわらず、LIMEはグローバルパターンのキャプチャや機能間の相互作用に制限がある。
論文参考訳（メタデータ） (2024-12-23T23:09:56Z)
Interpretable Language Modeling via Induction-head Ngram Models [74.26720927767398]
誘導ヘッドngramモデル(Induction-Gram)を提案する。この誘導ヘッドは、カスタムのニューラル類似度メトリックを使用して、モデルの入力コンテキストを効率的に検索し、潜在的に次の単語補完を行う。実験により,本手法はベースラインの解釈可能なモデルよりも,単語の次単語予測を大幅に改善することが示された。
論文参考訳（メタデータ） (2024-10-31T12:33:26Z)
Improving Neuron-level Interpretability with White-box Language Models [11.898535906016907]
我々は、CRATE(Coding RAte TransformEr)という、ホワイトボックストランスフォーマーのようなアーキテクチャを導入する。包括的実験では、ニューロンレベルの解釈可能性において、顕著な改善(最大103%の相対的な改善)が見られた。 CRATEの解釈可能性の向上は、関連するトークンを一貫して一意に活性化する能力の強化によるものである。
論文参考訳（メタデータ） (2024-10-21T19:12:33Z)
Analysis of Argument Structure Constructions in a Deep Recurrent Language Model [0.0]
本稿では,再帰型ニューラルネットワークモデルにおけるArgument Structure Constructions(ASC)の表現と処理について検討する。その結果, 文表現は, 全層にまたがる4つのASCに対応する異なるクラスタを形成することがわかった。これは、脳に拘束された比較的単純なリカレントニューラルネットワークでさえ、様々な構成タイプを効果的に区別できることを示している。
論文参考訳（メタデータ） (2024-08-06T09:27:41Z)
Nonlinear classification of neural manifolds with contextual information [6.292933471495322]
本稿では,入力空間における遅延方向を文脈情報に関連付ける理論フレームワークを提案する。我々は、多様体幾何学と文脈相関に依存する文脈依存多様体容量の正確な公式を導出する。我々のフレームワークの表現性の向上は、階層階層の初期段階のディープネットワークにおける表現再構成を捉えるが、以前は分析にはアクセスできない。
論文参考訳（メタデータ） (2024-05-10T23:37:31Z)
Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文参考訳（メタデータ） (2024-02-28T04:56:21Z)
In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文参考訳（メタデータ） (2024-01-23T18:59:21Z)
How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
論文参考訳（メタデータ） (2023-10-08T10:19:56Z)
N2G: A Scalable Approach for Quantifying Interpretable Neuron Representations in Large Language Models [0.0]
N2Gは、ニューロンとそのデータセットの例を取り、これらの例のニューロンの振る舞いを解釈可能なグラフに自動的に蒸留するツールである。我々は、重要なトークンのみを提示するためにトランケーションとサリエンシ法を使用し、より多様なサンプルでデータセットの例を拡大し、ニューロンの振る舞いの程度をより正確に把握する。これらのグラフは、研究者による手動による解釈を助けるために視覚化できるが、テキスト上でトークンアクティベーションを出力して、ニューロンの基底真理アクティベーションと比較して自動検証することも可能だ。
論文参考訳（メタデータ） (2023-04-22T19:06:13Z)
The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文参考訳（メタデータ） (2021-07-02T01:55:18Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文参考訳（メタデータ） (2020-12-07T01:20:38Z)
Analyzing Individual Neurons in Pre-trained Language Models [41.07850306314594]
言語的タスクを予測できるニューロンのサブセットは、より少ないニューロンに局所化される低いレベルタスクと、より高いレベルの構文予測タスクとがある。例えば、XLNet のニューロンは、BERT などの特性を予測する際により局所化され、解離し、より分散され、結合される。
論文参考訳（メタデータ） (2020-10-06T13:17:38Z)
How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文参考訳（メタデータ） (2020-09-24T17:48:59Z)
Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning [134.77207192945053]
従来の手法は強化学習アプローチを用いてニューラルシンボリックモデルを学ぶ。我々は,脳神経知覚と記号的推論を橋渡しする前に,textbfgrammarモデルをテキストシンボリックとして導入する。本稿では,トップダウンのヒューマンライクな学習手順を模倣して誤りを伝播する新しいtextbfback-searchアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-11T17:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。