論文の概要: Cell-Based Representation of Relational Binding in Language Models

• arxiv url: http://arxiv.org/abs/2604.19052v1
• Date: Tue, 21 Apr 2026 03:58:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.608161
• Title: Cell-Based Representation of Relational Binding in Language Models
• Title（参考訳）: 言語モデルにおける関係結合のセルベース表現
• Authors: Qin Dai, Benjamin Heinzerling, Kentaro Inui,
• Abstract要約: 談話レベルのリレーショナルバインディングについて検討し、CBR(Cell-based Binding Representation)を用いて大言語モデルでエンコードされていることを示す。 部分最小正方形回帰を用いた属性 token アクティベーションからこれらの指標を復号することで CBR 部分空間を同定する。 文脈固有のCBR表現は、アクティベーション空間の変換ベクトルによって関連付けられており、コンテキスト間転送を可能にする。
• 参考スコア（独自算出の注目度）: 26.59650841520019
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding a discourse requires tracking entities and the relations that hold between them. While Large Language Models (LLMs) perform well on relational reasoning, the mechanism by which they bind entities, relations, and attributes remains unclear. We study discourse-level relational binding and show that LLMs encode it via a Cell-based Binding Representation (CBR): a low-dimensional linear subspace in which each ``cell'' corresponds to an entity--relation index pair, and bound attributes are retrieved from the corresponding cell during inference. Using controlled multi-sentence data annotated with entity and relation indices, we identify the CBR subspace by decoding these indices from attribute-token activations with Partial Least Squares regression. Across domains and two model families, the indices are linearly decodable and form a grid-like geometry in the projected space. We further find that context-specific CBR representations are related by translation vectors in activation space, enabling cross-context transfer. Finally, activation patching shows that manipulating this subspace systematically changes relational predictions and that perturbing it disrupts performance, providing causal evidence that LLMs rely on CBR for relational binding.
• Abstract（参考訳）: 会話を理解するには、エンティティとそれらの間の関係を追跡する必要がある。 大規模言語モデル(LLM)は関係推論においてよく機能するが、それらが実体、関係、属性を結合するメカニズムはいまだ不明である。 本研究では,LLM がセルベースバインディング表現 (CBR) を符号化し,各 ``cell''' がエンティティ-リレーションインデックス対に対応する低次元線形部分空間であることを示す。 実体と関係指標を付加した制御された多文データを用いて,CBR部分空間を部分最小正方形回帰を用いた属性 token アクティベーションから復号することで同定する。 領域と2つのモデル族にまたがって、インデックスは線型に退化可能であり、射影空間において格子のような幾何学を形成する。 さらに、文脈固有のCBR表現は、アクティベーション空間の変換ベクトルによって関連付けられ、コンテキスト間転送を可能にする。 最後に、アクティベーションパッチは、この部分空間を操作することで関係予測が体系的に変化し、摂動によって性能が損なわれ、LLMが関係結合にCBRに依存するという因果的証拠を提供する。

関連論文リスト

• Bridging the Semantic Gap for Categorical Data Clustering via Large Language Models [64.58262227709842]
  ARISE(Attention-weighted Representation with Integrated Semantic Embeddings)が紹介される。 正確なクラスタリングのためにカテゴリデータのメトリック空間を補完するセマンティックアウェア表現を構築する。 8つのベンチマークデータセットの実験では、7つの代表的なデータセットよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-01-03T11:37:46Z)
• Retrieval over Classification: Integrating Relation Semantics for Multimodal Relation Extraction [6.478238734128006]
  関係抽出(RE)は、非構造化テキストにおけるエンティティ間の意味的関係を特定することを目的としている。 underlineRetrieval underlineOver underlineClassification (ROC)は、リレーショナルセマンティクスによって駆動される検索タスクとしてマルチモーダルREを再構成する新しいフレームワークである。 ROCは、マルチモーダルエンコーダを通じてエンティティタイプと位置情報を統合し、大きな言語モデルを用いて関係ラベルを自然言語記述に拡張し、意味的類似性に基づくコントラスト学習を通じてエンティティ-リレーションペアを調整する。
  論文  参考訳（メタデータ） (2025-09-25T13:38:38Z)
• Topic Identification in LLM Input-Output Pairs through the Lens of Information Bottleneck [0.0]
  幾何学的クラスタリングのための決定論的情報ボトルネック(DIB)に基づく基本的トピック識別手法を開発した。 我々の重要な貢献は、DIB法を計算効率の良い上界を持つ難解なKL発散項に代えて、高次元データのための実用的なアルゴリズムに変換することである。
  論文  参考訳（メタデータ） (2025-08-26T20:00:51Z)
• Large Language Models are Good Relational Learners [55.40941576497973]
  本稿では,グラフニューラルネットワーク(GNN)に基づくエンコーダを用いて,大規模言語モデル(LLM)のための構造化リレーショナルプロンプトを生成する新しいアーキテクチャであるRel-LLMを紹介する。 従来のテキストベースのシリアライズ手法とは異なり,本手法はデータベース固有の関係構造を保ちながら,LLMが複雑なエンティティ関係を処理・推論することを可能にする。
  論文  参考訳（メタデータ） (2025-06-06T04:07:55Z)
• Induced Covariance for Causal Discovery in Linear Sparse Structures [55.2480439325792]
  因果モデルでは、観測データから変数間の因果関係を解き明かそうとしている。 本稿では,変数が線形に疎結合な関係を示す設定のための新しい因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-02T04:01:38Z)
• Linearity of Relation Decoding in Transformer Language Models [82.47019600662874]
  トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。 関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
  論文  参考訳（メタデータ） (2023-08-17T17:59:19Z)
• The Low-Dimensional Linear Geometry of Contextualized Word Representations [27.50785941238007]
  ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。 様々な言語特徴が低次元部分空間に符号化されていることを示す。
  論文  参考訳（メタデータ） (2021-05-15T00:58:08Z)
• TransINT: Embedding Implication Rules in Knowledge Graphs with Isomorphic Intersections of Linear Subspaces [10.79392871079383]
  本稿では,知識グラフのための新しい埋め込み手法であるTransINTを提案する。 TransINT は(関係によって成される)実体を、関係含意的に同型に包含順序付けられたベクトルの連続集合に写す。 ベンチマークデータセットでは、リンク予測とトリプル分類において有意なマージンを持つ最先端のルール統合埋め込み手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-07-01T06:45:27Z)
• New advances in enumerative biclustering algorithms with online partitioning [80.22629846165306]
  さらに、数値データセットの列に定数値を持つ最大二クラスタの効率的で完全で正しい非冗長列挙を実現できる二クラスタリングアルゴリズムであるRIn-Close_CVCを拡張した。 改良されたアルゴリズムはRIn-Close_CVC3と呼ばれ、RIn-Close_CVCの魅力的な特性を保ちます。
  論文  参考訳（メタデータ） (2020-03-07T14:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。