論文の概要: Dynamics Reveals Structure: Challenging the Linear Propagation Assumption

• arxiv url: http://arxiv.org/abs/2601.21601v1
• Date: Thu, 29 Jan 2026 12:08:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.790523
• Title: Dynamics Reveals Structure: Challenging the Linear Propagation Assumption
• Title（参考訳）: Dynamics Reveals Structure: Challenging the Linear Propagation Assumption
• Authors: Hoyeon Chang, Bálint Mucsányi, Seong Joon Oh,
• Abstract要約: 局所的な更新が論理的結果に相反するかどうかを考察する。 否定と逆の場合、方向に依存しない一階伝播を保証するためには、関係コンテンツからエンティティペアコンテキストを分離するテンソル因子化が必要であることが証明される。 合成が結合に還元されることを示し、線型特徴量上でよく定義された接続が双線型でなければならないことを示す。
• 参考スコア（独自算出の注目度）: 23.984006583336498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks adapt through first-order parameter updates, yet it remains unclear whether such updates preserve logical coherence. We investigate the geometric limits of the Linear Propagation Assumption (LPA), the premise that local updates coherently propagate to logical consequences. To formalize this, we adopt relation algebra and study three core operations on relations: negation flips truth values, converse swaps argument order, and composition chains relations. For negation and converse, we prove that guaranteeing direction-agnostic first-order propagation necessitates a tensor factorization separating entity-pair context from relation content. However, for composition, we identify a fundamental obstruction. We show that composition reduces to conjunction, and prove that any conjunction well-defined on linear features must be bilinear. Since bilinearity is incompatible with negation, this forces the feature map to collapse. These results suggest that failures in knowledge editing, the reversal curse, and multi-hop reasoning may stem from common structural limitations inherent to the LPA.
• Abstract（参考訳）: ニューラルネットワークは1次パラメータ更新を通じて適応するが、そのような更新が論理コヒーレンスを保存するかどうかは不明だ。 局所的な更新が論理的結果に一貫性を持って伝播するという前提である線形伝搬推定(LPA)の幾何学的限界について検討する。 これを形式化するために、関係代数を採用し、否定は真理値を反転させ、逆は引数順序をスワップし、合成連鎖関係を求める。 否定と逆について、方向に依存しない一階伝播を保証するためには、関係コンテンツからエンティティペアコンテキストを分離するテンソル分解が必要であることを証明する。 しかし, 構成上, 根本的な障害を識別する。 合成が結合に還元されることを示し、線型特徴量上でよく定義された接続が双線型でなければならないことを示す。 双線型性は否定と相容れないため、この機能マップは崩壊を余儀なくされる。 これらの結果から, 知識編集の失敗, 逆転の呪文, マルチホップ推論は, LPAに固有の共通構造的制約に起因する可能性が示唆された。

関連論文リスト

• Memorization, Emergence, and Explaining Reversal Failures: A Controlled Study of Relational Semantics in LLMs [43.414287127130684]
  本稿では,対称/逆三重項からテキストを生成する合成フレームワークを提案し,GPTスタイルの自己回帰モデルをスクラッチから訓練し,記憶,論理推論,文脈内一般化を評価する。 浅層(2-3層)モデルにおいても,関係性セマンティクスが十分な論理量制御によって出現し,その一般化が安定な中間層信号と一致していることが判明した。
  論文  参考訳（メタデータ） (2026-01-06T11:20:38Z)
• An Equivariance Toolbox for Learning Dynamics [13.651450618432094]
  学習力学の1次制約と2次制約を結合した汎用等分散ツールボックスを開発した。 まず,保護法則と暗黙のバイアス関係を単一アイデンティティの特別な事例として統一する。 2階目では、曲率に関する構造予測を提供する。
  論文  参考訳（メタデータ） (2025-12-24T23:42:07Z)
• RelTopo: Multi-Level Relational Modeling for Driving Scene Topology Reasoning [74.58385332488227]
  道路トポロジー推論は自動運転にとって重要であり、効率的なナビゲーションと交通規制の遵守を可能にする。 既存の手法は通常、レーン検出またはレーン・トゥ・レーン(L2L)のトポロジー推論(英語版)に重点を置いており、しばしばこれらのタスクを共同で最適化するためにレーン・トゥ・トラッフィック・エレメント(L2T)の関係をテキスト化している。 人間は自然に道路要素認識と接続性推論の文脈的関係を利用するので、リレーショナルモデリングは知覚と推論の両方に有益であると主張する。
  論文  参考訳（メタデータ） (2025-06-16T14:40:28Z)
• A Signed Graph Approach to Understanding and Mitigating Oversmoothing in GNNs [54.62268052283014]
  署名されたグラフの枠組みに基づく統一的な理論的視点を示す。 既存の戦略の多くは、メッセージパッシングを変えて過度な操作に抵抗する負のエッジを暗黙的に導入している。 本稿では,ラベルや特徴の類似性に基づいて署名されたエッジを割り当てるプラグイン・アンド・プレイ方式であるStructure Balanced Propagation (SBP)を提案する。
  論文  参考訳（メタデータ） (2025-02-17T03:25:36Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks [3.566568169425391]
  深さが大きくなると、ノード表現はアグリゲーション関数に依存するが特徴変換には依存しない低次元部分空間に支配されることが示される。 すべてのアグリゲーション関数について、ノード表現のランクは崩壊し、特定のアグリゲーション関数に対して過度に滑らかになる。
  論文  参考訳（メタデータ） (2023-08-31T15:22:31Z)
• Bayesian network structure learning with causal effects in the presence of latent variables [6.85316573653194]
  本稿では,cFCIの制約に基づく部分とスコアに基づく学習を組み合わせた,CCHMと呼ばれるハイブリッド構造学習アルゴリズムについて述べる。 ランダム化されたネットワークとよく知られたネットワークの両方に基づく実験により、CCHMは真の祖先グラフの再構築の観点から最先端の改善を図っている。
  論文  参考訳（メタデータ） (2020-05-29T04:42:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。