論文の概要: Do Large Language Models Play Six Degrees of Separation? Measuring Topological Compression in Long-Context Manifolds

• arxiv url: http://arxiv.org/abs/2608.17950v2
• Date: Fri, 21 Aug 2026 00:47:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:31.786518
• Title: Do Large Language Models Play Six Degrees of Separation? Measuring Topological Compression in Long-Context Manifolds
• Title（参考訳）: 大規模言語モデルは6次元分離を行うか?-長期多様体のトポロジ的圧縮の測定
• Abstract要約: この研究は、トランスフォーマーが抽象的推論を実行する方法を数学的に定式化し、事実の信頼性を評価するための新しい厳密な幾何学的シグネチャを提供する。 実地的な世代はソースコンテキストと構造的整合性を維持しているのに対し,幻覚は高度に位相的崩壊を引き起こすことを示す。
• 参考スコア（独自算出の注目度）: 1.8190501646350212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) demonstrate remarkable multi-hop reasoning capabilities over long contexts, yet the internal mechanisms enabling these distant cognitive leaps remain poorly understood. Traditional attention-based interpretability often fails to capture true semantic proximity due to routing artifacts like attention sinks. In this paper, we bypass attention weights to directly analyze the dynamic geometry of the hidden state manifold, proving that deep LLM latent spaces natively organize into Small-World networks. By sparsifying the continuous similarity matrices of long-context representations into unweighted graphs, we trace the connectivity between highly disjoint semantic anchors across two distinct architectures. Our findings reveal a sharp topological phase transition: while early syntactic layers remain entirely fractured, deep reasoning layers abruptly compress massive conceptual distances into highly navigable pathways strictly bounded by the "Six Degrees of Separation" limit (=< 6 semantic hops). Furthermore, we demonstrate the practical efficacy of this framework by applying it to zero-shot hallucination detection within Retrieval-Augmented Generation (RAG) using the RAGognize dataset. We show that factually grounded generations maintain structural integrity with their source context (approximately 3 hops), whereas hallucinations induce severe topological collapse. Ultimately, this work mathematically formalizes how transformers execute abstract reasoning and provides a novel, strictly geometric signature for evaluating factual reliability.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、長い文脈で顕著なマルチホップ推論能力を示すが、これらの遠方の認知的飛躍を可能にする内部メカニズムは理解されていないままである。 従来の注意に基づく解釈容易性は、注意シンクのようなルーティングアーティファクトによって、真の意味的近接性を捕捉できないことが多い。 本稿では,隠れ状態多様体の動的幾何を直接解析するために,注意重みを回避し,LLM潜在空間が自然にSmall-Worldネットワークに編成されることを証明した。 長文表現の連続的類似度行列を非重み付きグラフに分割することにより、2つの異なるアーキテクチャをまたいだ高度に非結合なセマンティックアンカー間の接続性を辿る。 初期の構文的層は完全に破壊され続けているが、深い推論層は「分離の6つのデグリー」限界(=6セマンティックホップ)に厳格に拘束された高航行可能な経路に突然、巨大な概念的距離を圧縮する。 さらに、RAGognizeデータセットを用いて、検索型拡張生成(RAG)内のゼロショット幻覚検出に適用することにより、本フレームワークの実用性を示す。 実地基底世代は、その源となる文脈(約3ホップ)と構造的整合性を維持しているのに対し、幻覚は深刻なトポロジ的崩壊を引き起こす。 最終的に、この研究はトランスフォーマーが抽象的推論を実行する方法を数学的に定式化し、事実の信頼性を評価するための新しい厳密な幾何学的シグネチャを提供する。

関連論文リスト

• DeSeG: Decoupling Semantic Intent and Geometric Constraints for Physically Plausible Human-Scene Interaction [50.06148080975928]
  本稿では,意味的意図を幾何学的制約から明確に分離する階層型フレームワークであるDeSeGを提案する。 DeSeGは最先端のパフォーマンスを実現し、平均シーン浸透率を47%削減し、SOTAベースラインに対するセマンティックアライメントを29%改善した。
  論文  参考訳（メタデータ） (2026-07-07T03:21:08Z)
• What Makes Effective Supervision in Latent Chain-of-Thought: An Information-Theoretic Analysis [24.026935801991744]
  我々は、情報理論の観点から遅延連鎖(CoT)を分析し、この失敗を二重崩壊とみなす。 これらの効果を測定するために、潜在軌道と明示的推論ステップの間の相互情報を定量化するUnified Latent Probe (ULP)を導入する。
  論文  参考訳（メタデータ） (2026-06-18T10:51:53Z)
• Retrieve, Integrate, and Synthesize: Spatial-Semantic Grounded Latent Visual Reasoning [11.05919811646786]
  本稿では,事前学習型MLLM計算の互換性拡張として遅延推論を開発する空間意味的基盤となるRIS(Retrieve,Integrate,Synthesize)を提案する。 RISは潜伏トークンを空間的および意味的な証拠の両方に固定し、進行的な注意ボトルネックを通じて因果的役割を強制し、翻訳された潜伏状態から語彙に整合した復号に戻すために短い言語遷移トークンを導入する。
  論文  参考訳（メタデータ） (2026-05-08T01:33:58Z)
• SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
  空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。 テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。 本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
  論文  参考訳（メタデータ） (2026-04-19T11:21:59Z)
• LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval [74.72139580745511]
  LaSERは、レトリバーの潜在空間に明示的な推論を内部化する、新しい自己蒸留フレームワークである。 提案手法は, 明示的なCoTパイプラインの推論深度と, 標準的な高密度検索器の推論効率をうまく組み合わせる。
  論文  参考訳（メタデータ） (2026-03-02T04:11:18Z)
• Multimodal Latent Reasoning via Hierarchical Visual Cues Injection [16.779425236020433]
  この研究は、頑健な推論は潜在空間内で進化し、シームレスにマルチモーダル信号を統合することを示唆している。 表面的な文章の合理性に依存することなく、意図的な「スロー思考」を具現化する新しい枠組みを提案する。 視覚知識を取り入れたテストタイムスケーリングは有効であり,階層的な情報の統合は複雑な場面に対するモデルの理解を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2026-02-05T06:31:12Z)
• Higher-Order Knowledge Representations for Agentic Scientific Reasoning [1.1458853556386797]
  本稿では,多義性関係を忠実にエンコードするハイパーグラフに基づく知識表現を構築する手法を提案する。 バイオコンポジット足場上の1,100の写本のコーパスに適用し、161,172個のノードと320,201個のハイパーエッジからなるグローバルなハイパーグラフを構築した。 さらに,ハイパーグラフツールを用いたエージェントシステム,特にノード間制約を用いて,意味論的に離れた概念をブリッジできることを実証した。
  論文  参考訳（メタデータ） (2026-01-08T12:25:37Z)
• GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
  テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。 本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
  論文  参考訳（メタデータ） (2025-11-12T06:48:43Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。