論文の概要: Invariant Features in Language Models: Geometric Characterization and Model Attribution

• arxiv url: http://arxiv.org/abs/2605.06458v1
• Date: Thu, 07 May 2026 15:50:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.959415
• Title: Invariant Features in Language Models: Geometric Characterization and Model Attribution
• Title（参考訳）: 言語モデルにおける不変特徴:幾何学的特徴とモデル属性
• Authors: Agnibh Dasgupta, Abdullah Tanvir, Xin Zhong,
• Abstract要約: 言語モデルはパラフレージングに対して強い堅牢性を示し、セマンティック情報は安定した内部表現によって符号化される可能性があることを示唆している。 本稿では,意味論的に等価な入力が潜在空間の構造化領域を占有する局所幾何学的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 0.5429166905724048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models exhibit strong robustness to paraphrasing, suggesting that semantic information may be encoded through stable internal representations, yet the structure and origin of such invariance remain unclear. We propose a local geometric framework in which semantically equivalent inputs occupy structured regions in latent space, with paraphrastic variation along nuisance directions and semantic identity preserved in invariant subspaces. Building on this view, we make three contributions: (1) a geometric characterization of invariant latent features, (2) a contrastive subspace discovery method that separates semantic-changing from semantic-preserving variation, and (3) an application of invariant representations to zero-shot model attribution. Across models and layers, empirical results support these contributions. Invariant structure emerges in specific depth regions, semantic displacement lies largely outside the nuisance subspace, and representation-level interventions indicate a causal role of invariant components in model outputs. Invariant representations also capture model-specific geometric patterns, enabling accurate attribution. These findings suggest that semantic invariance can be viewed as a local geometric property of latent representations, offering a principled perspective on how language models organize meaning.
• Abstract（参考訳）: 言語モデルは言い換えに強い堅牢性を示し、意味情報は安定した内部表現を通して符号化されるが、そのような不変性の構造と起源はいまだ不明である。 本稿では,意味的に等価な入力が潜在空間の構造領域を占有する局所幾何学的枠組みを提案する。 この観点から,(1)不変潜時特徴の幾何学的特徴解析,(2)意味変化を意味保存変動から分離するコントラスト的部分空間探索法,(3)不変表現をゼロショットモデル属性に適用すること,の3つの貢献を行う。 モデルとレイヤ全体にわたって、実証的な結果がこれらのコントリビューションを支持します。 特定の深度領域において不変構造が出現し、意味的変位は主にニュアンス部分空間の外側にあり、表現レベルの介入はモデル出力における不変成分の因果的役割を示す。 不変表現はまた、モデル固有の幾何学的パターンをキャプチャし、正確な帰属を可能にする。 これらの結果から,意味的不変性は潜在表現の局所的幾何学的性質と見なせることが示唆され,言語モデルが意味を整理する原理的視点を提供する。

関連論文リスト

• Controlled Paraphrase Geometry in Sentence Embedding Space: Local Manifold Modeling and Latent Probing [0.0]
  本論文は, セマンティック・クローズド文によって誘導される埋め込み雲の局所幾何学について研究する。 本稿では,アフィンモデル,二次モデル,立方体モデルに基づく局所幾何学的モデリング手法を提案する。 また,局所PCAの縮小した空間において,合成潜伏点を構成するサーフェスベース潜伏探索法を用いる。
  論文  参考訳（メタデータ） (2026-05-01T20:12:06Z)
• Steering Embedding Models with Geometric Rotation: Mapping Semantic Relationships Across Languages and Models [2.3204178451683264]
  埋め込み空間における一貫した回転操作として意味変換を表現する幾何学的アプローチであるRotor-Invariant Shift Estimation (RISE)を導入する。 RISE操作は高い性能で言語とモデルの両方をまたいで動作することができる。 この研究は、談話レベルの意味変換が多言語埋め込み空間における一貫した幾何学的操作に対応するという最初の体系的な実証を提供する。
  論文  参考訳（メタデータ） (2025-10-10T18:51:32Z)
• Aligning Instance-Semantic Sparse Representation towards Unsupervised Object Segmentation and Shape Abstraction with Repeatable Primitives [48.155145581663724]
  3Dオブジェクトの形状を理解するには、インスタンスとセマンティックセグメンテーションの結果から抽象化されたオブジェクト部品による形状表現が必要である。 セマンティック・アウェア・シェイプ表現のための一段階的、完全に教師なしのフレームワークを提案する。 このフレームワークは、高次元空間におけるオブジェクト部分のスパース表現と特徴アライメントを通じて、統合インスタンスのセグメンテーション、セマンティックセグメンテーション、形状抽象化を生成する。
  論文  参考訳（メタデータ） (2025-03-10T05:52:17Z)
• Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance [72.50214227616728]
  解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。 特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
  論文  参考訳（メタデータ） (2023-04-13T17:59:03Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Disentangling Geometric Deformation Spaces in Generative Latent Shape Models [5.582957809895198]
  3Dオブジェクトの完全な表現には、解釈可能な方法で変形の空間を特徴づける必要がある。 本研究では,物体形状の空間を剛性方向,非剛性ポーズ,内在的な形状に分解する3次元形状の不整合の事前生成モデルを改善する。 得られたモデルは生の3D形状からトレーニングできる。
  論文  参考訳（メタデータ） (2021-02-27T06:54:31Z)
• A Systematic Analysis of Morphological Content in BERT Models for Multiple Languages [2.345305607613153]
  本研究は、形態学的内容に対するBERTスタイルモデルの隠れ表現を探索する実験について述べる。 目的は、形態的特徴と特徴値の形で、個別の言語構造が5つのヨーロッパ言語に対する事前学習された言語モデルのベクトル表現と注意分布にどの程度存在するかを検討することである。
  論文  参考訳（メタデータ） (2020-04-06T22:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。