論文の概要: Abstract Activation Spaces for Content-Invariant Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.02462v1
• Date: Mon, 02 Feb 2026 18:48:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.37556
• Title: Abstract Activation Spaces for Content-Invariant Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるコンテンツ不変推論のための抽象活性化空間
• Authors: Gabriele Maraia, Marco Valentino, Fabio Massimo Zanzotto, Leonardo Ranaldi,
• Abstract要約: 本稿では,構造的推論を語彙的意味論から明確に分離する抽象誘導推論フレームワークを提案する。 本稿では,抽象化整合型ステアリングがコンテンツ駆動型エラーを低減し,妥当性に敏感な性能を向上させることを示す。
• 参考スコア（独自算出の注目度）: 28.102903742881576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) often struggle with deductive judgment in syllogistic reasoning, systematically conflating semantic plausibility with formal validity a phenomenon known as content effect. This bias persists even when models generate step-wise explanations, indicating that intermediate rationales may inherit the same semantic shortcuts that affect answers. Recent approaches propose mitigating this issue by increasing inference-time structural constraints, either by encouraging abstract intermediate representations or by intervening directly in the model's internal computations; however, reliably suppressing semantic interference remains an open challenge. To make formal deduction less sensitive to semantic content, we introduce a framework for abstraction-guided reasoning that explicitly separates structural inference from lexical semantics. We construct paired content-laden and abstract syllogisms and use the model's activations on abstract inputs to define an abstract reasoning space. We then learn lightweight Abstractors that, from content-conditioned residual-stream states, predict representations aligned with this space and integrate these predictions via multi-layer interventions during the forward pass. Using cross-lingual transfer as a test bed, we show that abstraction-aligned steering reduces content-driven errors and improves validity-sensitive performance. Our results position activation-level abstraction as a scalable mechanism for enhancing the robustness of formal reasoning in LLMs against semantic interference.
• Abstract（参考訳）: 大規模言語モデル(LLMs)は、シロジカル推論において誘惑的な判断に苦しむことが多く、意味的妥当性を形式的妥当性と体系的に融合させ、内容効果(content effect)として知られる現象である。 このバイアスは、モデルがステップワイズな説明を生成するときでさえ持続し、中間的理性が答えに影響を与える同じ意味的ショートカットを継承する可能性があることを示す。 近年の研究では、抽象的な中間表現を奨励したり、モデルの内部計算に直接介入することで、推論時の構造的制約を増大させることによってこの問題を軽減することを提案するが、それでも意味的干渉を確実に抑制することはオープンな課題である。 形式的推論を意味的内容に敏感にするために,構文的推論を語彙的意味論から明確に分離する抽象誘導推論の枠組みを導入する。 我々は、ペア化されたコンテンツラデンと抽象シロジズムを構築し、抽象的な推論空間を定義するために、抽象的な入力にモデルのアクティベーションを使用する。 次に、コンテント条件付き残ストリーム状態から、この空間に整合した表現を予測し、前方通過中の多層干渉によってこれらの予測を統合する軽量抽象子について学習する。 言語間移動をテストベッドとして使用することにより,抽象化整合型ステアリングがコンテンツ駆動誤差を低減し,妥当性に敏感な性能を向上させることを示す。 本研究は,LLMにおける意味的干渉に対する形式的推論の堅牢性を高めるためのスケーラブルな機構として,アクティベーションレベルの抽象化を位置づけた。

関連論文リスト

• Process In-Context Learning: Enhancing Mathematical Reasoning via Dynamic Demonstration Insertion [11.708864769915857]
  本稿では,リアルタイムな推論要求に応答して数学的推論を促進するプロセス・インコンテキスト・ラーニング(PICL)を提案する。 1)推論過程における意味論とエントロピーを分析し、そのコア特性を要約することにより、潜在的な混乱点を同定する。 混乱したコンテキストにマッチするデモプールから関連するデモを取得し、進行中の推論プロセスに直接挿入して、その後のステップをガイドする。
  論文  参考訳（メタデータ） (2026-01-17T09:20:06Z)
• Stable Language Guidance for Vision-Language-Action Models [62.80963701282789]
  残留セマンティックステアリング(Residual Semantic Steering)は、セマンティック実行から身体的余裕を逸脱する確率的フレームワークである。 RSSは最先端の堅牢性を実現し、敵対的な言語摂動の下でも性能を維持する。
  論文  参考訳（メタデータ） (2026-01-07T16:16:10Z)
• Comparative Expressivity for Structured Argumentation Frameworks with Uncertain Rules and Premises [0.7967000209136494]
  ルールや前提内で構造化された抽象モデルの妥当なインスタンス化について検討する。 我々の主な技術的貢献は、抽象的および構造化された形式主義を扱える表現性の概念の導入である。
  論文  参考訳（メタデータ） (2025-10-21T13:36:38Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Causal Abstraction Inference under Lossy Representations [53.18851962820361]
  我々は、既存の定義を一般化して損失表現に適合させる、投影抽象化と呼ばれる新しいタイプの抽象化を導入する。 低レベルモデルから投影された抽象化を構築する方法と、それと等価な観察的、介入的、および反ファクト的因果クエリを低レベルから高レベルに翻訳する方法を示す。
  論文  参考訳（メタデータ） (2025-09-25T21:20:42Z)
• Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。 最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。 本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
  論文  参考訳（メタデータ） (2025-09-02T14:16:02Z)
• Mitigating Content Effects on Reasoning in Language Models through Fine-Grained Activation Steering [14.298418197820912]
  大規模言語モデル(LLM)は、しばしば推論の限界を示し、しばしば内容の妥当性を論理的妥当性と混同する。 これは偏りのある推論を生じさせ、そこではもっともらしい議論は論理的に妥当か、あるいはその逆であると見なされる。 本稿では,アクティベーションステアリングによる形式推論におけるコンテンツバイアス軽減の問題について検討する。
  論文  参考訳（メタデータ） (2025-05-18T01:34:34Z)
• Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
  本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。 本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。 実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-10T17:04:39Z)
• An Experimental Study of Semantic Continuity for Deep Learning Models [11.883949320223078]
  意味的不連続性は、不適切な訓練対象から生じ、敵対的堅牢性や解釈可能性などの悪名高い問題に寄与すると主張している。 まず、既存のディープラーニングモデルにおける意味的不連続性の証拠を提供するためにデータ分析を行い、その後、理論上モデルがスムーズな勾配を得ることができ、セマンティック指向の特徴を学習できる単純な意味的連続性制約を設計する。
  論文  参考訳（メタデータ） (2020-11-19T12:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。