論文の概要: H-Probes: Extracting Hierarchical Structures From Latent Representations of Language Models

• arxiv url: http://arxiv.org/abs/2605.00847v2
• Date: Wed, 06 May 2026 20:35:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.460632
• Title: H-Probes: Extracting Hierarchical Structures From Latent Representations of Language Models
• Title（参考訳）: H-Probes:言語モデルの潜在表現から階層構造を抽出する
• Abstract要約: 我々は、潜在表現から階層構造を抽出するH-プローブを開発する。 合成木タスクでは、H-プローブはタスクを完遂するために必要な階層構造を含む部分空間をしっかり見つけ出す。 数学的推論トレースのような実世界の階層的文脈において、類似の、より弱い階層構造が見つかる。
• 参考スコア（独自算出の注目度）: 1.7357690546529352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representing and navigating hierarchy is a fundamental primitive of reasoning. Large language models have demonstrated proficiency in a wide variety of tasks requiring hierarchical reasoning, but there exists limited analysis on how the models geometrically represent the necessary latent constructions for such thinking. To this end, we develop H-probes, a collection of linear probes that extract hierarchical structure, specifically depth and pairwise distance, from latent representations. In synthetic tree traversal tasks, the H-probes robustly find the subspaces containing hierarchical structure necessary to complete the tasks; furthermore, in comprehensive ablation experiments, we show that these hierarchy-containing subspaces are low-dimensional, causally important for high task performance, and generalize within- and out-of-domain. Furthermore, we find analogous, though weaker, hierarchical structure in real-world hierarchical contexts such as mathematical reasoning traces. These results demonstrate that models represent hierarchy not only at the level of syntax and concepts, but at deeper levels of abstraction -- including the reasoning process itself.
• Abstract（参考訳）: 階層の表現とナビゲートは推論の基本的な原始である。 大規模言語モデルは階層的推論を必要とする様々なタスクにおいて習熟性を示しているが、そのような思考に必要な潜伏構造をどのように幾何学的に表現するかについては限定的な分析がある。 この目的のために、線形プローブの集合であるH-プローブを開発し、潜在表現から階層構造、特に深さと対距離を抽出する。 さらに包括的アブレーション実験では、これらの階層を含む部分空間は低次元であり、高いタスク性能に因果的に重要であり、内外領域を一般化することを示した。 さらに、数学的推論トレースのような実世界の階層的文脈において、類似の、より弱い階層構造が見つかる。 これらの結果は、モデルが構文や概念のレベルだけでなく、推論プロセス自体を含むより深い抽象化レベルで階層を表すことを示している。

関連論文リスト

• An expressivity analysis of hierarchical modelling in deep transformers via bounded-depth grammars [54.11540943172608]
  ディープニューラルネットワークは、その表現力は、テクスブ階層的表現を形成する能力から導かれると広く信じられている。 言語モデリングでは、textbftransformerが支配的なアーキテクチャとして登場し、初期のレイヤはローカルの構文パターンをキャプチャし、後のレイヤはより複雑な節レベルの依存関係をコードしている。 これらのアーキテクチャは、抽象文法状態が残留ストリーム内の低次元の線形分離可能部分空間に符号化される構造的能力を持っていると論じる。
  論文  参考訳（メタデータ） (2026-06-16T05:02:13Z)
• SC-Taxo: Hierarchical Taxonomy Generation under Semantic Consistency Constraints using Large Language Models [24.295783768613344]
  高品質の科学的分類法は、研究分野の構造的かつ階層的な表現を提供する。 既存の分類学のアプローチは、しばしば階層的なレベルの構造上の矛盾と意味的なミスアライメントに悩まされる。
  論文  参考訳（メタデータ） (2026-05-01T12:42:44Z)
• TopoOR: A Unified Topological Scene Representation for the Operating Room [54.50897207203292]
  手術シーングラフは外科手術室(OR)の複雑さを実体の構造とその関連性に抽象化する。 マルチモーダルな手術室を高次構造としてモデル化する新しいパラダイムであるTopoORを紹介する。 また,多様体の構造やモジュラリティに特有な特徴を明示的に保存する高次アテンション機構を提案する。
  論文  参考訳（メタデータ） (2026-03-10T10:19:42Z)
• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• Provable Learning of Random Hierarchy Models and Hierarchical Shallow-to-Deep Chaining [58.69016084278948]
  我々は、arXiv:2307.02129によって導入された階層的な文脈自由文法を考察し、深層ネットワークと浅層ネットワークの分離を予想する。 弱い条件下では、深い畳み込みネットワークを効率的に訓練し、この関数クラスを学習できることを証明した。
  論文  参考訳（メタデータ） (2026-01-27T16:19:54Z)
• Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
  テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。 モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-09T06:57:45Z)
• How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model [47.617093812158366]
  言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T09:11:09Z)
• Finding Alignments Between Interpretable Causal Variables and Distributed Neural Representations [62.65877150123775]
  因果抽象化は、説明可能な人工知能のための有望な理論的枠組みである。 既存の因果抽象法では、高レベルモデルと低レベルモデルの間のアライメントをブルートフォースで探索する必要がある。 これらの制約を克服する分散アライメントサーチ(DAS)を提案する。
  論文  参考訳（メタデータ） (2023-03-05T00:57:49Z)
• Hierarchical Pyramid Representations for Semantic Segmentation [0.0]
  コンテキストはこれらの固有の特性に基づいているため、オブジェクトの構造とオブジェクト間の階層構造を学ぶ。 本研究では,新しい階層的,文脈的,マルチスケールのピラミッド表現を設計し,入力画像から特徴を捉える。 提案手法はPASCALコンテキストにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-04-05T06:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。