論文の概要: Steering Embedding Models with Geometric Rotation: Mapping Semantic Relationships Across Languages and Models

• arxiv url: http://arxiv.org/abs/2510.09790v1
• Date: Fri, 10 Oct 2025 18:51:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.625853
• Title: Steering Embedding Models with Geometric Rotation: Mapping Semantic Relationships Across Languages and Models
• Title（参考訳）: 幾何回転を伴うステアリング埋め込みモデル:言語とモデル間の意味関係のマッピング
• Authors: Michael Freenor, Lauren Alvarez,
• Abstract要約: 埋め込み空間における一貫した回転操作として意味変換を表現する幾何学的アプローチであるRotor-Invariant Shift Estimation (RISE)を導入する。 RISE操作は高い性能で言語とモデルの両方をまたいで動作することができる。 この研究は、談話レベルの意味変換が多言語埋め込み空間における一貫した幾何学的操作に対応するという最初の体系的な実証を提供する。
• 参考スコア（独自算出の注目度）: 2.3204178451683264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how language and embedding models encode semantic relationships is fundamental to model interpretability and control. While early word embeddings exhibited intuitive vector arithmetic (''king'' - ''man'' + ''woman'' = ''queen''), modern high-dimensional text representations lack straightforward interpretable geometric properties. We introduce Rotor-Invariant Shift Estimation (RISE), a geometric approach that represents semantic transformations as consistent rotational operations in embedding space, leveraging the manifold structure of modern language representations. RISE operations have the ability to operate across both languages and models with high transfer of performance, suggesting the existence of analogous cross-lingual geometric structure. We evaluate RISE across three embedding models, three datasets, and seven morphologically diverse languages in five major language groups. Our results demonstrate that RISE consistently maps discourse-level semantic transformations with distinct grammatical features (e.g., negation and conditionality) across languages and models. This work provides the first systematic demonstration that discourse-level semantic transformations correspond to consistent geometric operations in multilingual embedding spaces, empirically supporting the Linear Representation Hypothesis at the sentence level.
• Abstract（参考訳）: 意味的関係をエンコードする言語と埋め込みモデルを理解することは、モデルの解釈可能性と制御に不可欠である。 初期の単語埋め込みは直感的なベクトル算術(''king'' - ''man' + ''woman'' = ''queen'')を示したが、現代の高次元のテキスト表現は直感的に解釈可能な幾何学的性質を欠いていた。 本稿では,現代言語表現の多様体構造を利用して,埋め込み空間における一貫した回転操作として意味変換を表現する幾何学的手法であるRotor-Invariant Shift Estimation (RISE)を紹介する。 RISE操作は性能の高い言語とモデルの両方をまたいだ操作が可能であり、類似の言語間幾何学構造の存在を示唆している。 5つの主要言語群において,3つの埋め込みモデル,3つのデータセット,および7つの形態学的多様言語にまたがるRISEを評価する。 以上の結果から, RISE は言語やモデル間で異なる文法的特徴(例えば, 否定, 条件性)を持つ談話レベルの意味変換を一貫してマッピングすることを示した。 この研究は、談話レベルの意味変換が多言語埋め込み空間における一貫した幾何学的操作に対応し、文レベルで線形表現仮説を実証的に支持する最初の体系的なデモンストレーションを提供する。

関連論文リスト

• Geometric Patterns of Meaning: A PHATE Manifold Analysis of Multi-lingual Embeddings [0.0]
  セマンスコープにより実装された多言語埋め込みにおける意味的幾何学を解析するための多段階解析フレームワークを提案する。 サブ文字コンポーネント、アルファベットシステム、セマンティックドメイン、数値概念にまたがる多様なデータセットの分析は、体系的な幾何学的パターンと現在の埋め込みモデルにおける限界を明らかにする。 これらの結果から,PHATE多様体学習は,埋め込み空間における意味の幾何学的構造を研究するだけでなく,意味的関係を捉える上での埋め込みモデルの有効性を検証するための重要な解析ツールとして確立されている。
  論文  参考訳（メタデータ） (2025-12-29T14:00:12Z)
• Hierarchical Neural Semantic Representation for 3D Semantic Correspondence [72.8101601086805]
  階層型ニューラルセマンティック表現(HNSR)を設計し,高次構造と多分解能局所幾何学的特徴を捉える。 第2に,グローバルなセマンティック特徴を用いた粗いセマンティック対応を確立する,プログレッシブなグローバル-ローカルマッチング戦略を設計する。 第3に,本フレームワークはトレーニングフリーで,様々なトレーニング済みの3D生成バックボーンと広範囲に互換性があり,多様な形状カテゴリにまたがる強力な一般化が示されている。
  論文  参考訳（メタデータ） (2025-09-22T07:23:07Z)
• Geometry of Semantics in Next-Token Prediction: How Optimization Implicitly Organizes Linguistic Representations [34.88156871518115]
  Next-token Prediction (NTP) 最適化により、言語モデルがテキストから意味構造を抽出し、整理する。 我々は、より大きな特異値に対応する概念が訓練中に学習され、自然な意味階層が生成されることを示した。 この洞察は、解釈可能なセマンティックカテゴリを識別するための概念記号を組み合わせる方法である、オーサントベースのクラスタリングを動機付けている。
  論文  参考訳（メタデータ） (2025-05-13T08:46:04Z)
• Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
  大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。 LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。 新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
  論文  参考訳（メタデータ） (2024-10-24T17:54:42Z)
• Geometric Signatures of Compositionality Across a Language Model's Lifetime [47.25475802128033]
  現代言語モデルは、構成性によって実現された言語の本質的な単純さを反映しているかどうかを考察する。 構成性と幾何学的複雑性の関係は,学習した言語的特徴から生じる。 本分析では, 言語構成の意味的側面と表面的側面をそれぞれ符号化し, 非線形次元と線形次元の顕著な対比を示した。
  論文  参考訳（メタデータ） (2024-10-02T11:54:06Z)
• Emergence of a High-Dimensional Abstraction Phase in Language Transformers [47.60397331657208]
  言語モデル (LM) は、言語コンテキストから出力トークンへのマッピングである。 我々は5つの事前学習されたトランスフォーマーベースLMと3つの入力データセットに対して、その解析、観察、高レベルの幾何学的アプローチをとる。 本結果は,多くの共通LMアーキテクチャにおいて,中心的な高次元位相がコア言語処理の基盤となることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T11:49:07Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding [143.5927158318524]
  テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
  論文  参考訳（メタデータ） (2023-01-22T08:02:23Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Oracle Linguistic Graphs Complement a Pretrained Transformer Language Model: A Cross-formalism Comparison [13.31232311913236]
  言語グラフ表現が神経言語モデリングを補完し改善する程度について検討する。 全体としては、セマンティックな選挙区構造は言語モデリングのパフォーマンスに最も有用である。
  論文  参考訳（メタデータ） (2021-12-15T04:29:02Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)
• A Systematic Analysis of Morphological Content in BERT Models for Multiple Languages [2.345305607613153]
  本研究は、形態学的内容に対するBERTスタイルモデルの隠れ表現を探索する実験について述べる。 目的は、形態的特徴と特徴値の形で、個別の言語構造が5つのヨーロッパ言語に対する事前学習された言語モデルのベクトル表現と注意分布にどの程度存在するかを検討することである。
  論文  参考訳（メタデータ） (2020-04-06T22:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。