論文の概要: Looking Inside LLMs: Small-World Connectivity as a Signature of Reasoning Performance

• arxiv url: http://arxiv.org/abs/2610.12304v1
• Date: Thu, 08 Oct 2026 16:53:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.194113
• Title: Looking Inside LLMs: Small-World Connectivity as a Signature of Reasoning Performance
• Title（参考訳）: LLMの内部を振り返る: 推論性能の指標としての小さな世界接続性
• Abstract要約: 小世界の接続性は、大きな言語モデル(LLM)推論の構造的シグネチャである。 局所的なクラスタリングは小世界の組織の中心であるため,コミュニティ内およびコミュニティ間のモデルパフォーマンスにおいて,ヘッドがいかに重要かを検討する。 これらの観測は、高いコアと低いブリッジのスコアが推論能力における頭部の重要度の構造指標となるという仮説を動機付けている。
• 参考スコア（独自算出の注目度）: 35.61245840087796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding large language model (LLM) reasoning requires looking beyond behavioral performance to examine how reasoning ability is reflected in internal organization. Inspired by neuroscience findings linking higher intelligence to stronger small-world organization in functional brain networks, we investigate small-world connectivity as a structural signature of LLM reasoning. We construct functional graphs from attention-head activation similarities and find that a higher small-world index (SWI), capturing local clustering and short global paths, consistently correlates with better fluid reasoning performance across models and training checkpoints. Since local clustering is central to small-world organization, we further examine how heads important for model performance connect within and across communities. We find that these heads tend to have a larger share of connection weight within their own communities (high core scores) and a more concentrated weight distribution across communities (low bridge scores). These observations motivate the hypothesis that high core and low bridge scores serve as structural indicators of head importance for reasoning capability. We validate this hypothesis through pruning, introducing Small-World Allocation (SWA), a hierarchical sparsity allocation method guided by these scores. Across six LLMs, SWA better preserves small-world organization and model performance than competing allocation strategies, reducing WikiText perplexity by up to 20%. Together, these findings identify small-world functional connectivity as a measurable signature of LLM reasoning performance, offering a structural perspective that complements behavioral evaluation.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論を理解するには、内部組織における推論能力がどのように反映されているかを調べるために、行動パフォーマンスを超えることが必要である。 機能的脳ネットワークにおける高知能とより強力な小世界組織とを結び付ける神経科学的な発見に触発され、小世界との接続性についてLLM推論の構造的シグネチャとして検討した。 我々は,注目ヘッドアクティベーション類似性から関数グラフを構築し,局所クラスタリングと短大域パスを捕捉し,モデル間での流体推論性能の向上とチェックポイントのトレーニングを連続的に関連づける,高次小世界指数(SWI)を求める。 局所的なクラスタリングは小世界の組織の中心であるため,コミュニティ内およびコミュニティ間のモデルパフォーマンスにおいて,ヘッドがいかに重要かをさらに検討する。 これらの頭部は、コミュニティ内での接続重量(高いコアスコア)の比率が大きくなり、コミュニティ全体(低いブリッジスコア)の重量分布がより集中する傾向にある。 これらの観測は、高いコアと低いブリッジのスコアが推論能力における頭部の重要度の構造指標となるという仮説を動機付けている。 本研究では,これらのスコアを導いた階層的空間割当手法であるSWAを導入することにより,この仮説を検証する。 6つのLLMでSWAは、競合するアロケーション戦略よりも、小さな世界の組織とモデルパフォーマンスを保存し、WikiTextの難易度を最大20%削減する。 これらの知見は,LLM推論性能の計測可能な指標として,小世界の機能的接続を同定し,行動評価を補完する構造的視点を提供する。

関連論文リスト

• Mechanistic Insights into Functional Sparsity in Multimodal LLMs via CoRe Heads [48.341678148905466]
  MLLM(Multimodal Large Language Models)における深い構造的特性を明らかにするための詳細な解釈可能性の研究について述べる。 我々は、コンテキスト認識検索(CoRe)ヘッドと呼ばれる、高度に専門化されたアテンションヘッドのサブセットを特定し、特徴付ける。 本研究は,MLLMにおける機能的疎結合の構造原理を解明し,機械的解釈可能性の現在の理解を解明するものである。
  論文  参考訳（メタデータ） (2026-06-04T08:18:31Z)
• Structural Graph Probing of Vision-Language Models [9.364818672785757]
  視覚言語モデル(VLM)は強力なマルチモーダル性能を実現する。 ニューロンの集団間でどのように計算が組織されるかは、いまだに理解されていない。 神経トポロジーのレンズを通してVLMを解析し、各層を層内相関グラフとして表現する。
  論文  参考訳（メタデータ） (2026-03-28T01:14:40Z)
• SpatialTree: How Spatial Abilities Branch Out in MLLMs [109.32057088014942]
  低レベル知覚(L1)、メンタルマッピング(L2)、シミュレーション(L3)、エージェント能力(L4)の4つのレベルに空間能力を整理する認知科学に着想を得た階層を導入する。 複雑な推論には役立ちますが、直感的な知覚を損ないます。 本稿では,不必要な熟考を抑制するシンプルな自己思考戦略を提案する。
  論文  参考訳（メタデータ） (2025-12-23T18:59:46Z)
• Benchmarking LLMs' Swarm intelligence [51.648605206159125]
  大規模言語モデル(LLM)は複雑な推論の可能性を秘めているが、マルチエージェントシステム(MAS)における創発的協調の能力はほとんど探索されていない。 分散エージェントとして機能するLDMのタスクを体系的に評価する新しいベンチマークであるSwarmBenchを紹介する。 本稿では,協調効率の指標を提案し,創発的グループダイナミクスを解析する。
  論文  参考訳（メタデータ） (2025-05-07T12:32:01Z)
• Chain-of-Sketch: Enabling Global Visual Reasoning [37.09634351533441]
  グラフ、文字列、迷路、画像グリッドを含む、拡張されたグローバルなビジュアルデータセットを紹介します。 大規模なビジョンモデルは、これらのタスクを効率的に学習するのに依然として苦労している。 本稿では,この学習効率の低下を緩和するために,チェーン・オブ・スケッチ(CoS)と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:44:13Z)
• SpaRC and SpaRP: Spatial Reasoning Characterization and Path Generation for Understanding Spatial Reasoning Capability of Large Language Models [70.01883340129204]
  空間推論は 生物学的と人工知能の両方において 重要な要素です 本稿では,現在最先端の大規模言語モデル (LLM) の空間的推論能力について包括的に検討する。
  論文  参考訳（メタデータ） (2024-06-07T01:06:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。