論文の概要: Steering Embedding Models with Geometric Rotation: Mapping Semantic Relationships Across Languages and Models

• arxiv url: http://arxiv.org/abs/2510.09790v1
• Date: Fri, 10 Oct 2025 18:51:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.625853
• Title: Steering Embedding Models with Geometric Rotation: Mapping Semantic Relationships Across Languages and Models
• Title（参考訳）: 幾何回転を伴うステアリング埋め込みモデル:言語とモデル間の意味関係のマッピング
• Authors: Michael Freenor, Lauren Alvarez,
• Abstract要約: 埋め込み空間における一貫した回転操作として意味変換を表現する幾何学的アプローチであるRotor-Invariant Shift Estimation (RISE)を導入する。 RISE操作は高い性能で言語とモデルの両方をまたいで動作することができる。 この研究は、談話レベルの意味変換が多言語埋め込み空間における一貫した幾何学的操作に対応するという最初の体系的な実証を提供する。
• 参考スコア（独自算出の注目度）: 2.3204178451683264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how language and embedding models encode semantic relationships is fundamental to model interpretability and control. While early word embeddings exhibited intuitive vector arithmetic (''king'' - ''man'' + ''woman'' = ''queen''), modern high-dimensional text representations lack straightforward interpretable geometric properties. We introduce Rotor-Invariant Shift Estimation (RISE), a geometric approach that represents semantic transformations as consistent rotational operations in embedding space, leveraging the manifold structure of modern language representations. RISE operations have the ability to operate across both languages and models with high transfer of performance, suggesting the existence of analogous cross-lingual geometric structure. We evaluate RISE across three embedding models, three datasets, and seven morphologically diverse languages in five major language groups. Our results demonstrate that RISE consistently maps discourse-level semantic transformations with distinct grammatical features (e.g., negation and conditionality) across languages and models. This work provides the first systematic demonstration that discourse-level semantic transformations correspond to consistent geometric operations in multilingual embedding spaces, empirically supporting the Linear Representation Hypothesis at the sentence level.
• Abstract（参考訳）: 意味的関係をエンコードする言語と埋め込みモデルを理解することは、モデルの解釈可能性と制御に不可欠である。 初期の単語埋め込みは直感的なベクトル算術(''king'' - ''man' + ''woman'' = ''queen'')を示したが、現代の高次元のテキスト表現は直感的に解釈可能な幾何学的性質を欠いていた。 本稿では,現代言語表現の多様体構造を利用して,埋め込み空間における一貫した回転操作として意味変換を表現する幾何学的手法であるRotor-Invariant Shift Estimation (RISE)を紹介する。 RISE操作は性能の高い言語とモデルの両方をまたいだ操作が可能であり、類似の言語間幾何学構造の存在を示唆している。 5つの主要言語群において,3つの埋め込みモデル,3つのデータセット,および7つの形態学的多様言語にまたがるRISEを評価する。 以上の結果から, RISE は言語やモデル間で異なる文法的特徴(例えば, 否定, 条件性)を持つ談話レベルの意味変換を一貫してマッピングすることを示した。 この研究は、談話レベルの意味変換が多言語埋め込み空間における一貫した幾何学的操作に対応し、文レベルで線形表現仮説を実証的に支持する最初の体系的なデモンストレーションを提供する。

関連論文リスト

• Hierarchical Neural Semantic Representation for 3D Semantic Correspondence [72.8101601086805]
  階層型ニューラルセマンティック表現(HNSR)を設計し,高次構造と多分解能局所幾何学的特徴を捉える。 第2に,グローバルなセマンティック特徴を用いた粗いセマンティック対応を確立する,プログレッシブなグローバル-ローカルマッチング戦略を設計する。 第3に,本フレームワークはトレーニングフリーで,様々なトレーニング済みの3D生成バックボーンと広範囲に互換性があり,多様な形状カテゴリにまたがる強力な一般化が示されている。
  論文  参考訳（メタデータ） (2025-09-22T07:23:07Z)
• Geometry of Semantics in Next-Token Prediction: How Optimization Implicitly Organizes Linguistic Representations [34.88156871518115]
  Next-token Prediction (NTP) 最適化により、言語モデルがテキストから意味構造を抽出し、整理する。 我々は、より大きな特異値に対応する概念が訓練中に学習され、自然な意味階層が生成されることを示した。 この洞察は、解釈可能なセマンティックカテゴリを識別するための概念記号を組み合わせる方法である、オーサントベースのクラスタリングを動機付けている。
  論文  参考訳（メタデータ） (2025-05-13T08:46:04Z)
• Geometric Signatures of Compositionality Across a Language Model's Lifetime [47.25475802128033]
  現代言語モデルは、構成性によって実現された言語の本質的な単純さを反映しているかどうかを考察する。 構成性と幾何学的複雑性の関係は,学習した言語的特徴から生じる。 本分析では, 言語構成の意味的側面と表面的側面をそれぞれ符号化し, 非線形次元と線形次元の顕著な対比を示した。
  論文  参考訳（メタデータ） (2024-10-02T11:54:06Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Oracle Linguistic Graphs Complement a Pretrained Transformer Language Model: A Cross-formalism Comparison [13.31232311913236]
  言語グラフ表現が神経言語モデリングを補完し改善する程度について検討する。 全体としては、セマンティックな選挙区構造は言語モデリングのパフォーマンスに最も有用である。
  論文  参考訳（メタデータ） (2021-12-15T04:29:02Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。