論文の概要: Invariant Atoms: Sparse Coordinates of Local Semantic Geometry in Language Model Representations

• arxiv url: http://arxiv.org/abs/2609.36451v1
• Date: Tue, 29 Sep 2026 01:14:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.084496
• Title: Invariant Atoms: Sparse Coordinates of Local Semantic Geometry in Language Model Representations
• Title（参考訳）: 不変原子:言語モデル表現における局所意味幾何学のスパース座標
• Abstract要約: 本研究では,言語モデルにおける局所的な方向に沿って意味的変動が組織化されることを示す。 我々は,意味的変位を再現し,ニュアンス変動を抑制した共有意味的フレームとスパース座標を学習する。 これらの知見は、言語モデルにおける局所的意味幾何学のためのスパース座標系として、再利用可能な不変方向をサポートする。
• 参考スコア（独自算出の注目度）: 0.6101839518775969
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models often preserve meaning despite substantial changes in wording, style, and syntax, while small semantic edits can systematically alter their hidden representations. This suggests that semantic variation may be organized along recurring local directions. We propose the Invariant Atom Hypothesis: local semantic motion admits preferred sparse coordinates along directions that remain stable under meaning-preserving transformations. We learn a shared semantic frame and sparse coordinates that reconstruct semantic displacements while suppressing nuisance variation, with anchor-dependent diagonal modulation adjusting atom strengths without sample-specific rotations. Empirically, the atoms exhibit strong semantic--nuisance separation, sparse reconstruction, reproducible directions, and causal effects on model predictions. The learned geometry generalizes to unseen semantic neighborhoods and nuisance families, while local reweighting improves semantic selectivity and preserves a consistent global-to-local structure. Atom signatures also remain stable under model modification. These findings support reusable invariant directions as a sparse coordinate system for local semantic geometry in language models.
• Abstract（参考訳）: 大きな言語モデルは、単語、スタイル、構文に大きな変化があるにもかかわらず意味を保ち、小さなセマンティックな編集は、隠された表現を体系的に変更することができる。 このことは、局所的に繰り返される方向に沿って意味的変動が組織化されることを示唆している。 局所的な意味運動は、意味保存変換の下で安定な方向に沿ったスパース座標を許容する。 我々は,サンプル特異的な回転を伴わずに原子強度を調整するアンカー依存の対角変調を用いて,意味的変位を再現する共有意味的フレームとスパース座標を学習する。 経験的に、原子は強い意味的分離、スパース再構成、再現可能な方向、モデル予測に対する因果効果を示す。 学習された幾何学は目に見えないセマンティック・エリアやニュアンス・ファミリーに一般化し、局所的な再重み付けはセマンティック・セレクティビティを改善し、一貫したグローバル・ツー・ローカル構造を保存する。 Atomシグネチャもモデル修正の下で安定している。 これらの知見は、言語モデルにおける局所的意味幾何学のためのスパース座標系として、再利用可能な不変方向をサポートする。

関連論文リスト

• Fisher-IRG: Fisher-Induced Local Invariant Representation Geometry across Language and Vision Models [0.6101839518775969]
  本稿では,フィッシャー誘導型不変表現幾何 (Fisher-IRG) を提案する。 セマンティック保存・セマンティック・チェンジ領域を構築し,その局所的なフィッシャー情報を集約し,コントラッシブな一般化固有値問題を通じて不変方向を復元する。
  論文  参考訳（メタデータ） (2026-09-29T01:19:09Z)
• LAST: Bridging Vision-Language and Action Manifolds via Gromov-Wasserstein Alignment [71.3712075841632]
  LASTはアクション空間を再構築し、ビジョン・ランゲージ・アクション・モダリティとの局所的な距離互換性を確立する。 LASTは収束性と一般化性に優れたVLAモデルを可能にする。
  論文  参考訳（メタデータ） (2026-05-27T03:48:10Z)
• Invariant Features in Language Models: Geometric Characterization and Model Attribution [0.5429166905724048]
  言語モデルはパラフレージングに対して強い堅牢性を示し、セマンティック情報は安定した内部表現によって符号化される可能性があることを示唆している。 本稿では,意味論的に等価な入力が潜在空間の構造化領域を占有する局所幾何学的枠組みを提案する。
  論文  参考訳（メタデータ） (2026-05-07T15:50:31Z)
• Controlled Paraphrase Geometry in Sentence Embedding Space: Local Manifold Modeling and Latent Probing [0.0]
  本論文は, セマンティック・クローズド文によって誘導される埋め込み雲の局所幾何学について研究する。 本稿では,アフィンモデル,二次モデル,立方体モデルに基づく局所幾何学的モデリング手法を提案する。 また,局所PCAの縮小した空間において,合成潜伏点を構成するサーフェスベース潜伏探索法を用いる。
  論文  参考訳（メタデータ） (2026-05-01T20:12:06Z)
• LAG-XAI: A Lie-Inspired Affine Geometric Framework for Interpretable Paraphrasing in Transformer Latent Spaces [1.3788139387418392]
  本稿では,埋め込み空間内の構造的アフィン変換としてパラフレージングをモデル化する幾何学的フレームワークであるRAG-XAIを紹介する。 Sentence-BERTでエンコードされた、ノイズの多いPIT-2015 Twitterコーパスの実験は、"線形透明性"現象を明らかにしている。 このモデルは、非線形ベースラインの効果的な分類能力(AUC 0.8405)の約80%を捕捉し、絶対精度の限界降下と引き換えに明確な解釈性を提供する。
  論文  参考訳（メタデータ） (2026-04-07T17:02:21Z)
• Gauge Freedom and Metric Dependence in Neural Representation Spaces [0.0]
  一般線型群の下でゲージ自由度を持つベクトル空間としてニューラル表現空間を研究する。 我々はコサイン類似度などのコサイン類似度が計量依存量となることを示す。 多層パーセプトロンと畳み込みネットワークの実験により、訓練されたモデルに可逆変換を挿入すると、コサイン類似性と最も近い隣り合う構造が実質的に歪むことが確認された。
  論文  参考訳（メタデータ） (2026-03-06T17:54:22Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
  形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。 本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-03T06:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。