Fugu-MT 論文翻訳(概要): Riemannian Geometry for Pre-trained Language Model Embeddings

論文の概要: Riemannian Geometry for Pre-trained Language Model Embeddings

arxiv url: http://arxiv.org/abs/2607.07047v1
Date: Wed, 08 Jul 2026 06:23:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-09 22:50:30.304315
Title: Riemannian Geometry for Pre-trained Language Model Embeddings
Title（参考訳）: 事前学習型言語モデル埋め込みのためのリーマン幾何学
Abstract要約: Fréchetアグリゲーションと組み合わせたランダム初期化エンコーダが、これらの3つの信号を持つデータセットのうちの2つでユークリッドプールをすでに上回っていることを示す。訓練されたエンコーダは、3つの信号を持つデータセットの中で最も知識の多いCREAKに特別な信号を提供する。
参考スコア（独自算出の注目度）: 37.067444579637076
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Understanding the geometric structure of pre-trained language model embeddings matters for interpretability and safety. We ask whether sentence-level classification signal lives in the Riemannian geometry of contextual token embeddings, and probe it by extracting per-token pullback metrics from a learned encoder's analytical Jacobian and aggregating them with the Fréchet mean on the symmetric positive definite (SPD) manifold; we call this procedure Riemannian Mean Pooling (RMP). Across three datasets with non-trivial linguistic structure (CoLA, CREAK, RTE), RMP outperforms Euclidean mean pooling, while on FEVER-Symmetric, a benchmark constructed to remove annotation-driven lexical artifacts, the method correctly stays at chance. Ablations show that a randomly initialised encoder combined with Fréchet aggregation already beats Euclidean pooling on two of the three signal-bearing datasets, localising the source of the gain to the geometric aggregation rather than to learned manifold structure; the trained encoder contributes additional signal specifically on CREAK, the most knowledge-heavy of the three signal-bearing datasets.
Abstract（参考訳）: 事前学習された言語モデルの幾何学的構造を理解することは、解釈可能性と安全性に関する問題である。我々は、文脈的トークン埋め込みのリーマン幾何学に文レベルの分類信号が存在するかどうかを問うとともに、学習エンコーダの分析的ヤコビアンからトーケン毎のプルバックメトリクスを抽出し、対称正定値(SPD)多様体上のフレシェ平均でそれらを集約することにより、これをリーマン平均ポーリング(RMP)と呼ぶ。非自明な言語構造を持つ3つのデータセット(CoLA, CREAK, RTE)でRMPはユークリッド平均プーリングを上回り、FEVER-Symmetricではアノテーション駆動の語彙的アーティファクトを削除するために構築されたベンチマークでは、そのメソッドが偶然に残る。アブレーションは、フレシェアグリゲーションと組み合わされたランダムに初期化されたエンコーダが、3つの信号を持つデータセットのうちの2つに対してユークリッドプールをすでに打ち負かしており、学習された多様体構造ではなく、ゲインのソースを幾何アグリゲーションにローカライズしていることを示している。

関連論文リスト

Nested Inductive Bias Framework for SPD Manifold Learning [0.0]
幾何学的ディープラーニング(Geometric Deep Learning)において、帰納バイアス(inductive bias)は2つの主要な機能、つまり多様体の制約を強制することと、関係事前を埋め込むことである。我々は、非ユークリッド的対象測地をSPD多様体へ引き戻すためのNested Inductive Biasフレームワークを導入する。我々はまた、外れ値に対する最先端の堅牢性を確立するために、Rational Conformal Metricを提案する。
論文参考訳（メタデータ） (2026-09-03T20:50:18Z)
Hyper-Fold: Exploring the Expressive Limit of Sequence-Geometry Learning for Proteins via Hypergraph Modeling [55.36837305276515]
コンテント幾何学的外積に対する完全双線型作用素、すなわち2階の相互作用の十分統計は、表現的天井であることを示す。次に、メッセージパッシングコストで天井に近づく、ランク-K分離可能な畳み込みバックボーンであるHyper-Foldを紹介します。
論文参考訳（メタデータ） (2026-08-29T11:43:25Z)
From Extrinsic to Intrinsic: Geodesic-Guided Representation Learning for 3D Geometric Data [56.41479248637621]
我々は,textbfPreトレーニングのための新しい3D表現学習パラダイムであるtextbfPRISMを紹介した。 PRISMは textbfIntrinsic textbfSurface geodesic textbfMetric を検索して埋め込みを学習する。提案手法は測地線距離予測において, 良好な精度, 堅牢性, 高効率性を示す。
論文参考訳（メタデータ） (2026-06-01T13:54:26Z)
Riemannian geometry meets fMRI: the advantages of modeling correlation manifolds and eigenvector subspaces [0.0]
相関行列は機能的脳ネットワークの基本要約である。既存の幾何学的手法は、しばしば閉形式演算を欠いているか、あるいは任意の領域順序に依存する。オフログ計量とグラスマン部分空間判別という2つの要素を持つスケーラブルな幾何学的枠組みを導入する。
論文参考訳（メタデータ） (2026-05-21T11:22:31Z)
OpenGaFF: Open-Vocabulary Gaussian Feature Field with Codebook Attention [80.51557267896938]
オープンな3Dシーン理解のための新しいフレームワークであるOpenGaFFについて述べる。我々の手法の中核はガウス的特徴場であり、ガウス幾何学と外見の連続関数として意味論をモデル化する。オブジェクトレベルのセマンティック一貫性をさらに強化するために、共有セマンティックプリミティブのセットとして機能する構造化コードブックを導入する。
論文参考訳（メタデータ） (2026-05-07T12:10:07Z)
Harnessing Data Asymmetry: Manifold Learning in the Finsler World [53.951528511476994]
非対称な相似性を構築し、フィンスラー空間に埋め込むフィンスラー多様体学習パイプラインを提案する。これにより、従来のデータよりも既存の非対称な埋め込み装置の適用性が大幅に拡大される。制御された合成および大規模実データに対して、我々の非対称パイプラインは、従来のパイプラインで失われた貴重な情報を明らかにする。
論文参考訳（メタデータ） (2026-03-12T00:16:24Z)
GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
論文参考訳（メタデータ） (2025-11-12T06:48:43Z)
IIKL: Isometric Immersion Kernel Learning with Riemannian Manifold for Geometric Preservation [15.82760919569542]
これまでの研究は、非ユークリッドデータを表現学習中にユークリッド空間にマッピングしていた。本稿では,Isometric Immersion Kernel Learning (IIKL)法を提案する。本手法は,最先端手法と比較して内積不変損失を90%以上削減できることを示した。
論文参考訳（メタデータ） (2025-05-07T12:08:33Z)
EquiCPI: SE(3)-Equivariant Geometric Deep Learning for Structure-Aware Prediction of Compound-Protein Interactions [0.0]
EquiCPIは、SE(3)-同変ニューラルネットワークによる第一原理構造モデリングを相乗化する、エンドツーエンドの幾何学的深層学習フレームワークである。中心となるEquiCPIは、原子点雲を渡るSE(3)-同変のメッセージを使用し、回転、翻訳、反射の下で対称性を保つ。提案モデルはBindingDB(親和性予測)とDUD-E(仮想スクリーニング)で評価され、EquiCPIのパフォーマンスは最先端のディープラーニング競合と同等かそれ以上である。
論文参考訳（メタデータ） (2025-04-07T00:57:08Z)
Score-based Pullback Riemannian Geometry: Extracting the Data Manifold Geometry using Anisotropic Flows [10.649159213723106]
本稿では,データ駆動型リーマン幾何学のフレームワークを提案する。提案手法は,データサポートを通した高品質な測地線を生成する。これは、データ多様体の完全な幾何学を抽出する最初のスケーラブルなフレームワークである。
論文参考訳（メタデータ） (2024-10-02T18:52:12Z)
The Fisher-Rao geometry of CES distributions [50.50897590847961]
Fisher-Rao情報幾何学は、ツールを微分幾何学から活用することができる。楕円分布の枠組みにおけるこれらの幾何学的ツールの実用的利用について述べる。
論文参考訳（メタデータ） (2023-10-02T09:23:32Z)
Robust Geometric Metric Learning [17.855338784378]
本稿では,計量学習問題に対する新しいアルゴリズムを提案する。その後、Robust Geometric Metric Learning (RGML)と呼ばれる一般的な手法が研究される。 RGMLのパフォーマンスは、実際のデータセット上で保証される。
論文参考訳（メタデータ） (2022-02-23T14:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。