論文の概要: Linear Representations of Hierarchical Concepts in Language Models

• arxiv url: http://arxiv.org/abs/2604.07886v2
• Date: Fri, 10 Apr 2026 02:06:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 13:51:27.76451
• Title: Linear Representations of Hierarchical Concepts in Language Models
• Title（参考訳）: 言語モデルにおける階層概念の線形表現
• Authors: Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui,
• Abstract要約: 我々は各階層的な深さと意味領域に特有の線形変換を訓練する。 そして、どのように階層が表現空間にエンコードされるかを分析する。 全体として、我々の実験で考慮されたすべてのモデルが、高度に解釈可能な線形表現の形で概念階層を符号化していることが分かる。
• 参考スコア（独自算出の注目度）: 34.691065518620924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate how and to what extent hierarchical relations (e.g., Japan $\subset$ Eastern Asia $\subset$ Asia) are encoded in the internal representations of language models. Building on Linear Relational Concepts, we train linear transformations specific to each hierarchical depth and semantic domain, and characterize representational differences associated with hierarchical relations by comparing these transformations. Going beyond prior work on the representational geometry of hierarchies in LMs, our analysis covers multi-token entities and cross-layer representations. Across multiple domains we learn such transformations and evaluate in-domain generalization to unseen data and cross-domain transfer. Experiments show that, within a domain, hierarchical relations can be linearly recovered from model representations. We then analyze how hierarchical information is encoded in representation space. We find that it is encoded in a relatively low-dimensional subspace and that this subspace tends to be domain-specific. Our main result is that hierarchy representation is highly similar across these domain-specific subspaces. Overall, we find that all models considered in our experiments encode concept hierarchies in the form of highly interpretable linear representations.
• Abstract（参考訳）: 言語モデルの内部表現において階層的関係(例えば、日本$\subset$イースタンアジア$\subset$アジア)がどのように符号化されているかを検討する。 線形関係の概念に基づいて、各階層的深さと意味領域に特有の線形変換を訓練し、これらの変換を比較することで、階層的関係に関連する表現的差異を特徴づける。 LMにおける階層の表現幾何学に関する先行研究を超えて、我々はマルチトークンエンティティと層間表現を網羅した分析を行った。 複数の領域にまたがって、そのような変換を学び、未確認データやクロスドメイン転送へのドメイン内一般化を評価する。 実験により、ある領域内で、階層関係がモデル表現から線形に回復できることが示されている。 次に、階層的な情報を表現空間にエンコードする方法を分析する。 この部分空間は比較的低次元の部分空間に符号化されており、この部分空間はドメイン固有である傾向がある。 我々の主な結果は、階層表現がこれらの領域固有の部分空間間で非常によく似ていることである。 全体として、我々の実験で考慮されたすべてのモデルが、高度に解釈可能な線形表現の形で概念階層を符号化していることが分かる。

関連論文リスト

• Modeling Hierarchical Spaces: A Review and Unified Framework for Surrogate-Based Architecture Design [0.32622301272834514]
  本稿では、構造化された入力空間に関する文献をレビューし、既存のアプローチを一般化する統一的なフレームワークを提案する。 変数は、その値が他の命令された変数の存在を支配すればメタとして記述され、条件付きおよび階層構造をモデル化できる。 我々のフレームワークは階層的距離とカーネルを定義し、階層的ドメイン上の代理モデリングと最適化を可能にする。
  論文  参考訳（メタデータ） (2025-06-27T20:38:57Z)
• Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• The geometry of hidden representations of large transformer models [43.16765170255552]
  大規模トランスは、さまざまなデータタイプをまたいだ自己教師型データ分析に使用される強力なアーキテクチャである。 データセットのセマンティック構造は、ある表現と次の表現の間の変換のシーケンスから現れることを示す。 本研究は,データセットのセマンティクス情報が第1ピークの終わりによりよく表現されることを示し,この現象を多種多様なデータセットで訓練された多くのモデルで観測できることを示した。
  論文  参考訳（メタデータ） (2023-02-01T07:50:26Z)
• The Low-Dimensional Linear Geometry of Contextualized Word Representations [27.50785941238007]
  ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。 様々な言語特徴が低次元部分空間に符号化されていることを示す。
  論文  参考訳（メタデータ） (2021-05-15T00:58:08Z)
• Hierarchical Pyramid Representations for Semantic Segmentation [0.0]
  コンテキストはこれらの固有の特性に基づいているため、オブジェクトの構造とオブジェクト間の階層構造を学ぶ。 本研究では,新しい階層的,文脈的,マルチスケールのピラミッド表現を設計し,入力画像から特徴を捉える。 提案手法はPASCALコンテキストにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-04-05T06:39:12Z)
• Universal-RCNN: Universal Object Detector via Transferable Graph R-CNN [117.80737222754306]
  我々はUniversal-RCNNと呼ばれる新しいユニバーサルオブジェクト検出器を提案する。 まず、すべてのカテゴリの高レベルなセマンティック表現を統合することで、グローバルなセマンティックプールを生成する。 ドメイン内推論モジュールは、空間認識GCNによってガイドされる1つのデータセット内のスパースグラフ表現を学習し、伝播する。
  論文  参考訳（メタデータ） (2020-02-18T07:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。