論文の概要: Memorization, Emergence, and Explaining Reversal Failures: A Controlled Study of Relational Semantics in LLMs

• arxiv url: http://arxiv.org/abs/2601.02931v1
• Date: Tue, 06 Jan 2026 11:20:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.908105
• Title: Memorization, Emergence, and Explaining Reversal Failures: A Controlled Study of Relational Semantics in LLMs
• Title（参考訳）: LLMにおけるリレーショナルセマンティクスの制御研究
• Authors: Yihua Zhu, Qianying Liu, Jiaxin Wang, Fei Cheng, Chaoran Liu, Akiko Aizawa, Sadao Kurohashi, Hidetoshi Shimodaira,
• Abstract要約: 本稿では,対称/逆三重項からテキストを生成する合成フレームワークを提案し,GPTスタイルの自己回帰モデルをスクラッチから訓練し,記憶,論理推論,文脈内一般化を評価する。 浅層(2-3層)モデルにおいても,関係性セマンティクスが十分な論理量制御によって出現し,その一般化が安定な中間層信号と一致していることが判明した。
• 参考スコア（独自算出の注目度）: 43.414287127130684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive LLMs perform well on relational tasks that require linking entities via relational words (e.g., father/son, friend), but it is unclear whether they learn the logical semantics of such relations (e.g., symmetry and inversion logic) and, if so, whether reversal-type failures arise from missing relational semantics or left-to-right order bias. We propose a controlled Knowledge Graph-based synthetic framework that generates text from symmetric/inverse triples, train GPT-style autoregressive models from scratch, and evaluate memorization, logical inference, and in-context generalization to unseen entities to address these questions. We find a sharp phase transition in which relational semantics emerge with sufficient logic-bearing supervision, even in shallow (2-3 layer) models, and that successful generalization aligns with stable intermediate-layer signals. Finally, order-matched forward/reverse tests and a diffusion baseline indicate that reversal failures are primarily driven by autoregressive order bias rather than deficient inversion semantics.
• Abstract（参考訳）: 自己回帰 LLM は、関係語(例えば、父と子、友人)を介してエンティティをリンクする必要がある関係タスクにおいてよく機能するが、そのような関係の論理的意味論(例えば、対称性と反転論理)を学ぶかどうかは不明であり、もしそうであれば、反転型失敗は、関係的意味論の欠如から生じるのか、あるいは左から右への順序バイアスから生じるのかは定かではない。 本稿では,対称/逆三重項からテキストを生成する制御された知識グラフベースの合成フレームワークを提案する。 浅層(2-3層)モデルにおいても,関係性セマンティクスが十分な論理的監視とともに出現する急激な位相遷移が見られ,その一般化は安定した中間層信号と一致している。 最後に、順序マッチングされたフォワード/リバーステストと拡散ベースラインは、反転失敗は、主に欠陥のある反転セマンティクスではなく、自己回帰的順序バイアスによって引き起こされることを示している。

関連論文リスト

• Directional Optimization Asymmetry in Transformers: A Synthetic Stress Test [0.15229257192293197]
  変換子は理論的には逆不変であり、その関数クラスは右から左への写像よりも左から右への写像を好まない。 LLMの時間的非対称性に関する最近の研究は、実世界のコーパスが独自の時間的矢印を持っていることを示唆している。 方向性の障害は、言語統計学によるものなのか、あるいはアーキテクチャ自体によるものなのか?
  論文  参考訳（メタデータ） (2025-11-25T07:03:20Z)
• DAG-Math: Graph-Guided Mathematical Reasoning in LLMs [54.231935013127206]
  大型言語モデル (LLM) は, CoT (Chain-of-Thought) による数学的問題に対して高い性能を示す 我々は、有向非巡回グラフ(DAG)上の一定の規則に基づくプロセスとしてCoTをモデル化することを提案する。 ここでは,モデルのCoT軌道がDAG構造にどの程度よく依存するかを定量化する計量である論理的近接性を導入する。
  論文  参考訳（メタデータ） (2025-10-19T21:05:17Z)
• More or Less Wrong: A Benchmark for Directional Bias in LLM Comparative Reasoning [10.301985230669684]
  本研究では,大規模言語モデルにおける意味的キュー形状推論のメカニズムについて検討する。 我々は300の比較シナリオのベンチマークであるMathCompを紹介する。 モデル誤差は、しばしば言語的ステアリングを反映し、プロンプトに存在する比較項への体系的なシフトを反映している。
  論文  参考訳（メタデータ） (2025-06-04T13:15:01Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• Implicit Bias-Like Patterns in Reasoning Models [0.5729426778193398]
  暗黙のバイアス(英語: Implicit bias)とは、知覚、判断、行動を形成する自動的な精神過程を指す。 本稿では、推論モデルにおける暗黙的なバイアス様処理を研究するために、推論モデルインプシット・アソシエーション・テスト(RM-IAT)を提案する。
  論文  参考訳（メタデータ） (2025-03-14T16:40:02Z)
• Order Doesn't Matter, But Reasoning Does: Training LLMs with Order-Centric Augmentation [57.570754504160305]
  本稿では,論理的推論における可換性に基づく順序中心のデータ拡張フレームワークを提案する。 秩序中心の拡張を利用することで、モデルはより柔軟で一般化された推論プロセスを開発することができる。
  論文  参考訳（メタデータ） (2025-02-27T09:25:50Z)
• Aligning with Logic: Measuring, Evaluating and Improving Logical Preference Consistency in Large Language Models [31.558429029429863]
  大規模言語モデル(LLM)は、信頼できる意思決定システムをサポートするために予測可能で信頼性が高いと期待されている。 本研究では、より信頼性の高いLLMシステムを構築するための基本的な要件として、論理的選好整合性を検討する。 一貫性の向上はLLM駆動論理ベースのアルゴリズムの性能向上につながることを示す。
  論文  参考訳（メタデータ） (2024-10-03T04:34:04Z)
• Large Language Models as an Indirect Reasoner: Contrapositive and Contradiction for Automated Reasoning [74.90592233107712]
  本稿では,直接推論 (DR) と間接推論 (IR) を並列な複数の推論経路として考慮し,最終解を導出する直接間接推論 (DIR) 手法を提案する。 我々のDIR法は単純だが有効であり、既存のCoT法と簡単に統合できる。
  論文  参考訳（メタデータ） (2024-02-06T03:41:12Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。