論文の概要: A Graph Signal Processing Perspective on Numerical Sequence Representations in LLM In-Context Learning

• arxiv url: http://arxiv.org/abs/2608.03015v1
• Date: Tue, 04 Aug 2026 01:54:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.992081
• Title: A Graph Signal Processing Perspective on Numerical Sequence Representations in LLM In-Context Learning
• Title（参考訳）: LLMインコンテキスト学習における数値シーケンス表現のグラフ信号処理の視点
• Abstract要約: 大規模言語モデル(LLM)における数値情報の体系化について述べる。 我々は、注目がトークン上の重み付きグラフを誘導するグラフ信号処理の観点を採用し、トークン隠蔽状態はそのノード上の信号を定義する。 より単純な入力は、より強いグローバル接続とより滑らかなスペクトル集中型隠れ状態信号を持つ注意誘発トークングラフを生成する一方、より複雑な入力はより局所化されたグラフとより広いスペクトル支持とより大きな高周波エネルギーを持つ隠れ状態信号を生成する。
• 参考スコア（独自算出の注目度）: 9.5086739234825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained large language models (LLMs) have demonstrated in-context learning (ICL) capabilities for numerical inference over sequences serialized as text. Prior work has identified and characterized this form of numerical inference primarily through output-level evaluations such as prediction error. However, how numerical information is organized within LLM representations remains much less understood. To study this internal organization, we adopt a graph signal processing perspective in which attention induces a weighted graph over tokens, while token hidden states define signals on its nodes. Quantitative graph-spectral diagnostics and qualitative token-graph visualizations reveal that representations become more clearly differentiated by input dynamical complexity as context length increases. Simpler inputs produce attention-induced token graphs with stronger global connectivity and smoother, spectrally concentrated hidden-state signals, whereas more complex inputs produce more localized graphs and hidden-state signals with broader spectral support and greater high-frequency energy. Together, these findings point to systematic, context-dependent internal signatures associated with numerical ICL that are conserved across model families.
• Abstract（参考訳）: 事前訓練された大言語モデル (LLM) は、テキストとしてシリアライズされたシーケンス上の数値推論のための文脈内学習(ICL)機能を実証している。 先行研究は、主に予測誤差などの出力レベルの評価を通じて、この形の数値推論を識別し、特徴付けてきた。 しかし、LLM表現の中でどのように数値情報が整理されるかは、いまだに理解されていない。 この内部組織を研究するために、トークン上の重み付きグラフを誘導するグラフ信号処理の観点を採用し、トークン隠蔽状態はそのノード上の信号を定義する。 定量的グラフスペクトル診断と定性的トークングラフ可視化は、文脈長が増加するにつれて、入力の動的複雑さによって表現がより明確に区別されることを示した。 より単純な入力は、より強いグローバル接続とより滑らかなスペクトル集中型隠れ状態信号を持つ注意誘発トークングラフを生成する一方、より複雑な入力はより局所化されたグラフとより広いスペクトル支持とより大きな高周波エネルギーを持つ隠れ状態信号を生成する。 これらの知見は、モデルファミリーにまたがって保存される数値ICLに関連付けられた、系統的、文脈依存的な内部シグネチャを示唆している。

関連論文リスト

• Rethinking Message Passing as Retrieval for Text-Attributed Graph Learning [63.602658976990874]
  グラフニューラルネットワーク(GNN)は通常、メッセージパッシングニューラルネットワークとして概念化されている。 本稿では,GNNの検索拡張ビューについて述べる。各レイヤは,検索したグラフコンテキストの置換インサマリとともに,ノード表現に変分を適用して予測を行う。 この観点から、構造的メッセージパッシングをラベル認識検索と伝搬に置き換えるシンプルな集約ベースのフレームワークであるRTAを提案する。
  論文  参考訳（メタデータ） (2026-08-27T07:25:44Z)
• Resolving Node Identifiability in Graph Neural Processes via Laplacian Spectral Encodings [9.343292907600913]
  固有ベクトル符号のフリップや固有空間内の回転の基底に不変なラプラシアン位置符号化の理論を提供する。 この符号化により、一定数の観測からノード識別性が得られ、Weisfeiler-Lehmanテストで制約されたアーキテクチャからサンプル複雑度を分離することが証明される。
  論文  参考訳（メタデータ） (2025-11-24T12:20:36Z)
• Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)
• Beyond Message Passing: Neural Graph Pattern Machine [50.78679002846741]
  本稿では,グラフサブストラクチャから直接学習することで,メッセージパッシングをバイパスする新しいフレームワークであるNeural Graph Pattern Machine(GPM)を紹介する。 GPMはタスク関連グラフパターンを効率的に抽出し、エンコードし、優先順位付けする。
  論文  参考訳（メタデータ） (2025-01-30T20:37:47Z)
• Exact Computation of Any-Order Shapley Interactions for Graph Neural Networks [53.10674067060148]
  共有インタラクション(SI)は、複数のノード間のノードのコントリビューションとインタラクションを定量化する。 GNNアーキテクチャを利用して、ノード埋め込みにおける相互作用の構造がグラフ予測のために保存されていることを示す。 任意の順序SIを正確に計算するための効率的なアプローチであるGraphSHAP-IQを導入する。
  論文  参考訳（メタデータ） (2025-01-28T13:37:44Z)
• Conditional Distribution Learning on Graphs [15.730933577970687]
  半教師付きグラフ分類のためのグラフ構造化データからグラフ表現を学習する条件分布学習(CDL)法を提案する。 具体的には、元の特徴に対して弱機能および強拡張機能の条件分布を整列するエンドツーエンドグラフ表現学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-11-20T07:26:36Z)
• From Anchors to Answers: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [27.353083085394008]
  グラフ表現のためのアンカーベース位置符号化方式を備えた新しいフレームワークNT-LLMを提案する。 提案手法では,アンカーとして参照ノードを戦略的に選択し,各ノードの位置をアンカーに対してエンコードし,既存の手法の計算負担を伴わずに重要なトポロジ情報を取得する。 NT-LLMは、位置符号化事前訓練のためのランク保存目的を実装することにより、基本構造解析から複雑な推論シナリオに至るまで、多種多様なグラフタスクにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-10-14T17:21:57Z)
• Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
  グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。 最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Multi-View Graph Representation Learning Beyond Homophily [2.601278669926709]
  非教師付きグラフ表現学習(GRL)は,多種多様なグラフ情報をラベル管理なしでタスクに依存しない埋め込みに抽出することを目的としている。 MVGE(Multi-view Graph)と呼ばれる新しいフレームワークを提案し、キーデザインのセットを特定した。
  論文  参考訳（メタデータ） (2023-04-15T08:35:49Z)
• Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning [64.98816284854067]
  グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。 本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。