論文の概要: Relational Linear Properties in Language Models: An Empirical Investigation

• arxiv url: http://arxiv.org/abs/2605.22532v2
• Date: Sat, 23 May 2026 09:13:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 16:32:37.961219
• Title: Relational Linear Properties in Language Models: An Empirical Investigation
• Title（参考訳）: 言語モデルにおける関係線形特性:実証的研究
• Authors: Giovanni Valer, Luigi Gresele, Marco Bronzini, Emanuele Marconato,
• Abstract要約: この研究は、リレーショナル線型性に焦点をあてる: 固定された関係に対して、対象の非埋め込みは、対象の埋め込みから線形写像によって予測できるという仮説である。 Kullback-Leibler の発散に基づく探索手法を導入し,この特性を評価し,層間およびパラフレーズ付き関係クエリの変動について検討する。 その結果, 関係線形性はモデルによって異なり, モデル表現における言語情報に関する先行観測と整合した階層的パターンが示され, 関係の表現の仕方の変化によって異なることが示唆された。
• 参考スコア（独自算出の注目度）: 4.956483119095371
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Linear properties are ubiquitous in the representations of language models; however, testing them experimentally remains a challenging task. This work focuses on relational linearity: the hypothesis that, for a fixed relation (e.g., "plays"), the unembedding of an object (e.g., "trumpet") can be predicted from the embedding of its subject (e.g.,"Miles Davis") by a linear map. We present an experimental method to test the formulation of relational linearity by Marconato et al. (2025). Specifically, we introduce a probing method, based on Kullback-Leibler divergence, to evaluate this property and examine its variation across layers and paraphrased relational queries. It is also more efficient than previous work; for example, it avoids the crude Jacobian approximations used in Linear Relational Embeddings by Hernandez et al. (2024). Our findings across four datasets show that relational linearity varies across models, exhibits layer-wise patterns consistent with prior observations about linguistic information in model representations, and is differently affected by changes in how the relation is phrased.
• Abstract（参考訳）: 線形特性は言語モデルの表現においてユビキタスであるが、それを実験的にテストすることは難しい課題である。 この研究はリレーショナル線型性に焦点をあてる: 固定関係(eg, "plays")に対して、対象(eg, "trumpet")のアン埋め込みは、対象(eg, "Miles Davis")の埋め込みから線形写像によって予測できるという仮説である。 本稿では,Marconato et al (2025) による線形性の定式化を実験的に検証する。 具体的には,Kulback-Leiblerの発散に基づく探索手法を導入し,この特性を評価し,層間およびパラフレーズ付き関係クエリの変動について検討する。 例えば、HernandezらによるLinear Relational Embeddings (2024)で使われる粗ヤコビアン近似を回避している。 4つのデータセットにまたがって、関係線形性はモデルによって異なることを示し、モデル表現における言語情報に関する事前の観察と整合した階層的パターンを示し、関係の表現の仕方の変化によって異なる影響を及ぼした。

関連論文リスト

• Linear Relational Decoding of Morphology in Language Models [7.826806223782053]
  二つのアフィン近似は、ある種の対象物関係に対する変圧器の計算によい近似であることがわかった。 s が対象トークンの中間層表現であり、W がモデル微分から導出される線形変換 Ws は、多くの関係において最終対象状態の正確な再現も可能であることを示す。
  論文  参考訳（メタデータ） (2025-07-19T14:35:15Z)
• Causal Discovery on Dependent Binary Data [6.464898093190062]
  本稿では,関係するバイナリデータに基づく因果グラフ学習のためのデコレーションに基づくアプローチを提案する。 我々は,潜在ユーティリティ変数のサンプルの生成とデコレーションを行うEMライクな反復アルゴリズムを開発した。 提案手法は因果グラフ学習の精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-12-28T21:55:42Z)
• Understanding Probe Behaviors through Variational Bounds of Mutual Information [53.520525292756005]
  情報理論を利用した新しい数学的枠組みを構築することで線形探索のガイドラインを提供する。 まず、プローブ設計を緩和するために、相互情報の変動境界(MI)と探索を結合し、線形探索と微調整を同一視する。 中間表現は、分離性の向上とMIの減少のトレードオフのため、最大のMI推定値を持つことが示される。
  論文  参考訳（メタデータ） (2023-12-15T18:38:18Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Demystifying Disagreement-on-the-Line in High Dimensions [34.103373453782744]
  我々は高次元のランダム特徴回帰における不一致を解析するための理論的基盤を開発する。 CIFAR-10-C、Tiny ImageNet-C、Camelyon17の実験は、我々の理論と一致しており、理論的な発見の普遍性を支持する。
  論文  参考訳（メタデータ） (2023-01-31T02:31:18Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
  微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。 テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。 我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
  論文  参考訳（メタデータ） (2022-05-24T23:43:02Z)
• Learning from few examples with nonlinear feature maps [68.8204255655161]
  我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。 本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
  論文  参考訳（メタデータ） (2022-03-31T10:36:50Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)
• Linear predictor on linearly-generated data with missing values: non consistency and solutions [0.0]
  本研究では,予測対象が全観測データの線形関数である場合について検討する。 不足する値が存在する場合、最適予測器は線形でない可能性があることを示す。
  論文  参考訳（メタデータ） (2020-02-03T11:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。