論文の概要: The Geometry of Contextual Relations: Language Models Address Facts by Order of Mention

• arxiv url: http://arxiv.org/abs/2610.00910v1
• Date: Thu, 01 Oct 2026 01:41:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.842533
• Title: The Geometry of Contextual Relations: Language Models Address Facts by Order of Mention
• Title（参考訳）: 文脈関係の幾何学:思考順序による言語モデルへの対応
• Abstract要約: 質問がアリスの食べるものからボブの食べるものへと切り替わると、LLMはその文脈で事実のリストを与え、その隠れた状態がどのように変化するかを測定する。 LLMは、疑問が含んでいる名前ではなく、言及の順序によって質問される事実を表す。
• 参考スコア（独自算出の注目度）: 0.9747109180269474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human reasoning depends on how objects are related within propositions. \textit{How do relations organize the language representations of contextual contents?} We give an LLM a list of facts in its context (e.g., \emph{Alice eats an apple. Bob eats a pear.}) and measure how its hidden state changes when the question switches from what Alice eats to what Bob eats. Averaged over many lists, this change is a steering vector, which we call the \emph{ordinal vector}. It points to a fact by its \emph{order of mention}, the order in which the facts were stated in the context. We find that LLMs represent the fact a question asks about by its order of mention, not by the name the question contains. We state this as the \textit{ordinal addressing hypothesis}: each order of mention has a \emph{fact address} in the model's state, shared by all contexts, and a question moves the state to the fact address of the fact it asks about, while the context supplies what that fact says. Across Qwen, Gemma, and Llama, fact addresses are (1) \emph{ordered by mention}: query states are organized by the order of facts, not of names, even when one fact has multiple subjects; (2) \emph{steerable}: added to a question about the first fact of a new list, the ordinal vector makes the model answer with the second fact of that list; (3) \emph{low-rank}: they span a low-rank subspace in which the first-mentioned fact is the easiest to reach, surprisingly similar to human recall; and (4) \emph{emergent}: they are shared in late-middle layers, hold from 1.5B to 32B parameters, and form early in pretraining. Language models reach a stated fact by where it was mentioned, deepening our understanding of LLM reasoning.
• Abstract（参考訳）: 人間の推論は命題の中でオブジェクトがどのように関連しているかに依存する。 関連性は、どのようにコンテキストコンテンツの言語表現を整理するのか? 例: \emph{Alice eats an apple. } LLMに、そのコンテキストにおける事実のリストを与える(例: \emph{Alice eats an apple.)。 ボブは梨を食べる。 質問がAliceが食べるものからBobが食べるものへと切り替わるときに、その隠れた状態がどのように変化するかを測定する。 多くのリスト上で平均されるこの変化はステアリングベクトルであり、これは \emph{ordinal vector} と呼ばれる。 これは、事実が文脈で述べられた順序である「言及の順序」によって、事実を指し示している。 LLMは、疑問が含んでいる名前ではなく、言及の順序によって質問される事実を表す。 それぞれの参照の順序はモデルの状態に \emph{fact address} を持ち、すべてのコンテキストで共有され、質問はその状態が尋ねる事実の事実アドレスに移動し、コンテキストはその事実が何を言っているかを提供する。 Qwen, Gemma, Llama, fact address are formed by the order of facts, not of names, if one fact has multiple subjects; (2) \emph{steerable}: a question to a first fact about a new fact of a new list, the Ordinal vector makes the model answer with the second fact of the list; (3) \emph{low-rank}: これらは、第1の事実が人間のリコールと驚くほどよく似ている低ランクのサブスペースにまたがる。 言語モデルは記述された事実に到達し、LLM推論の理解を深めます。

関連論文リスト

• Statistical Parsing for Logical Information Retrieval [0.0]
  本稿では、推論、セマンティクス、構文間のギャップに対処する。 推論のために、QBBN を NEG 因子で拡張し、P(x) + P(neg x) = 1 を強制する。 意味論では、ロールラベル付き述語、モーダル量化器、およびPrawitzに続く表現性の3つの階層を持つ型付き論理言語を示す。 文法において,文を論理形式に決定的にコンパイルする型付きスロット文法を提案する。
  論文  参考訳（メタデータ） (2026-02-12T16:57:25Z)
• Causal Strengths and Leaky Beliefs: Interpreting LLM Reasoning via Noisy-OR Causal Bayes Nets [0.0]
  LLMとヒトの同一のタスクにおける因果推論を評価することにより、それぞれの強みと弱さをより包括的に理解することができる。 研究は、 (Q1) LLMは人間と協調しているか? (Q2) LLMと人間は、タスクレベルで一貫して推論するのか? (Q3) 明確な推論シグネチャを持っているか?
  論文  参考訳（メタデータ） (2025-12-10T21:58:16Z)
• The quasi-semantic competence of LLMs: a case study on the part-whole relation [53.37191762146552]
  我々は,アンフィパル・ホール関係,すなわちアンフェロニミーの知識について検討する。 Emphquasi-semantic'のモデルは、単にemphquasi-semantic'の能力を持つだけで、深い推論特性の取得には至っていないことを示す。
  論文  参考訳（メタデータ） (2025-04-03T08:41:26Z)
• Integrating Large Language Models with Graph-based Reasoning for Conversational Question Answering [58.17090503446995]
  我々は,テキストや知識グラフ,テーブル,インフォボックスといった異質な情報源から収集された証拠について,文脈における質問の理解と推論の課題を組み合わせた会話型質問応答タスクに着目する。 提案手法はグラフ構造表現を用いて質問とその文脈に関する情報を集約する。
  論文  参考訳（メタデータ） (2024-06-14T13:28:03Z)
• NestE: Modeling Nested Relational Structures for Knowledge Graph Reasoning [80.27794055245444]
  我々は、原子とネストされた事実知識の両方の意味をキャプチャする新しいKG埋め込みアプローチであるNestEを紹介する。 NestEは、ネストした事実に対する多様な論理パターンをキャプチャし、一階述語論理のような表現を超越する。 実験結果から,NestEは三重予測と条件付きリンク予測において,現在のベースラインよりも顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2023-12-14T18:49:30Z)
• CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
  我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。 ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
  論文  参考訳（メタデータ） (2023-12-07T15:12:12Z)
• Are Large Language Models Really Good Logical Reasoners? A Comprehensive Evaluation and Beyond [46.75497042978449]
  大規模言語モデル(LLM)は、自然言語処理(NLP)における注目すべき革新として登場した。 本論文では,このギャップを埋め,包括的に評価することを目的としている。 評価の包括性を考慮すると、3つの早期代表型LSMと4つのトレンド型LSMを含む。
  論文  参考訳（メタデータ） (2023-06-16T13:39:35Z)
• WikiWhy: Answering and Explaining Cause-and-Effect Questions [62.60993594814305]
  自然言語で答えが正しい理由を説明するために構築されたQAデータセットであるWikiWhyを紹介する。 WikiWhyには、ウィキペディアのさまざまなトピックの事実に基づいて、9000以上の「なぜ」質問回答の3つ組が含まれている。 GPT-3ベースラインは、エンドツーエンドの回答と説明条件において、人間の評価された正しさを38.7%しか達成していない。
  論文  参考訳（メタデータ） (2022-10-21T17:59:03Z)
• ListReader: Extracting List-form Answers for Opinion Questions [18.50111430378249]
  ListReaderは、リスト形式の回答のためのニューラルネットワーク抽出QAモデルである。 質問と内容のアライメントの学習に加えて,異種グラフニューラルネットワークを導入する。 提案モデルでは,スパンレベルと文レベルのいずれの回答も抽出可能な抽出設定を採用する。
  論文  参考訳（メタデータ） (2021-10-22T10:33:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。