論文の概要: PersonaManifold: Revealing and Exploiting Curved Geometry in LLM Persona Representations
- arxiv url: http://arxiv.org/abs/2609.34571v1
- Date: Mon, 28 Sep 2026 08:19:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 12:17:42.183057
- Title: PersonaManifold: Revealing and Exploiting Curved Geometry in LLM Persona Representations
- Title(参考訳): ペルソナ多様体:LLMペルソナ表現における曲面幾何学の展開と展開
- Abstract要約: 大規模言語モデルにおけるペルソナを推論時に制御することは、ロールプレイング、パーソナライズされた対話、社会シミュレーションにおいて重要である。
最近の手法では、モデルの活性化空間からペルソナベクトルを抽出し、ユークリッド演算を適用する。
我々は、アクティベーション空間における曲線付き低次元リーマン部分多様体上の点としてペルソナ表現をモデル化するフレームワークであるペルソナ多様体を提案する。
- 参考スコア(独自算出の注目度): 14.198979971531443
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Controlling persona in large language models (LLMs) at inference time is important for role-playing, personalized dialogue, and social simulation. Recent methods extract persona vectors from the model's activation space and apply Euclidean operations---addition, scaling, and linear interpolation---under the linear representation hypothesis. However, these methods themselves report systematic failures: non-orthogonal trait dimensions, asymmetric ceiling and resistance effects, and significant deviations in multi-trait composition, suggesting that the linear isotropic assumption does not hold. We propose PersonaManifold, a framework that models persona representations as points on a curved, low-dimensional Riemannian submanifold in activation space. We estimate the manifold's intrinsic geometry---local metric tensors, geodesic distances, and Ollivier-Ricci curvature---and introduce geodesic steering, which interpolates between personas along manifold geodesics rather than Euclidean straight lines. We also propose the Behavioral Similarity Triplet (BST) benchmark, which automatically generates situational questions grounded in six established psychological constructs and defines persona similarity through behavioral responses rather than self-report questionnaires. Experiments on three open-source LLMs show that persona activations form a manifold with heterogeneous curvature, geodesic distance predicts behavioral similarity more accurately than Euclidean alternatives with independent contributions from anisotropy and curvature, and geodesic steering produces more coherent intermediate personas on both our BST benchmark and external evaluations, with the advantage concentrated in high-deviation regions where the manifold deviates most from flatness.
- Abstract(参考訳): 大規模言語モデル(LLM)におけるペルソナの制御は、ロールプレイング、パーソナライズされた対話、社会シミュレーションにおいて重要である。
近年の手法では、モデルの活性化空間からペルソナベクトルを抽出し、ユークリッド演算-加法、スケーリング、線形補間--を線形表現仮説の下で適用している。
しかしながら、これらの手法自体は、非直交特性次元、非対称な天井と抵抗効果、および多層構造における有意な偏差を報告し、線形等方性仮定が成り立たないことを示唆している。
我々は、アクティベーション空間における曲線付き低次元リーマン部分多様体上の点としてペルソナ表現をモデル化するフレームワークであるペルソナ多様体を提案する。
多様体の内在幾何学-局所計量テンソル、測地距離、オリヴィエ・リッチ曲率-を推定し、ユークリッド直線ではなく多様体測地線に沿ったペルソナ間を補間する測地的ステアリングを導入する。
また,行動類似度トリプルト(BST)ベンチマークを提案し,行動類似度を自己申告アンケートではなく行動応答で定義する。
3つのオープンソースLCMの実験により、ペルソナの活性化は不均一な曲率を持つ多様体を形成し、測地距離は、異方性や曲率から独立に寄与するユークリッドの代替よりも正確に振舞い類似性を予測し、測地ステアリングは、BSTベンチマークと外部評価の両方においてよりコヒーレントな中間ペルソナを生成する。
関連論文リスト
- Intrinsic Riemannian Cross-covariance for Manifold-valued Random Objects [6.722667861696959]
本稿では,多様体値のランダムオブジェクトに対する固有リーマン交叉共分散を提案する。
提案手法は, 共分散と相関を, 局所的変動を平行輸送により共通接空間に伝達することによって定義する。
提案された共分散は、ユークリッド対の望ましい性質を継承し、その挙動を特徴づける。
論文 参考訳(メタデータ) (2026-06-08T22:05:16Z) - Riemannian geometry meets fMRI: the advantages of modeling correlation manifolds and eigenvector subspaces [0.0]
相関行列は機能的脳ネットワークの基本要約である。
既存の幾何学的手法は、しばしば閉形式演算を欠いているか、あるいは任意の領域順序に依存する。
オフログ計量とグラスマン部分空間判別という2つの要素を持つスケーラブルな幾何学的枠組みを導入する。
論文 参考訳(メタデータ) (2026-05-21T11:22:31Z) - A Mean Curvature Approach to Boundary Detection: Geometric Insights for Unsupervised Learning [52.452902154360565]
本稿では,幾何学的機械学習に基づく新しい幾何学的フレームワークであるMean Curvature Boundary Points (MCBP)を紹介する。
MCBPはデータ多様体の固有曲率を明示的にモデル化し、原理化された多様体のパラメトリゼーションを必要としない点平均曲率を計算する。
合成および実世界のデータセットの実験により、MCBPはクラスタリング性能を一貫して改善することを示した。
論文 参考訳(メタデータ) (2026-05-05T20:19:09Z) - Riemannian Flow Matching for Disentangled Graph Domain Adaptation [51.98961391065951]
グラフドメイン適応(GDA)は典型的には、ユークリッド空間におけるグラフ埋め込みの整列に逆学習を使用する。
DisRFMは、埋め込みとフローベースのトランスポートを統一する幾何学的なGDAフレームワークである。
論文 参考訳(メタデータ) (2026-01-31T11:05:35Z) - Enforcing Latent Euclidean Geometry in Single-Cell VAEs for Manifold Interpolation [79.27003481818413]
離散的様相変分オートエンコーダの潜在多様体をユークリッド幾何学へ正規化する訓練フレームワークであるFlatVIを紹介する。
遅延空間の直線を復号化された単セル多様体上の測地線に近似させることで、FlatVIは下流アプローチとの整合性を高める。
論文 参考訳(メタデータ) (2025-07-15T23:08:14Z) - Follow the Energy, Find the Path: Riemannian Metrics from Energy-Based Models [63.331590876872944]
本稿では,事前学習したエネルギーベースモデルから直接リーマン計量を導出する手法を提案する。
これらの測度は空間的に異なる距離を定義し、測地学の計算を可能にする。
EBM由来のメトリクスは、確立されたベースラインを一貫して上回ります。
論文 参考訳(メタデータ) (2025-05-23T12:18:08Z) - Differentially Private Geodesic and Linear Regression [1.4656078321003652]
統計応用では、多様体のような非線型空間上に存在するデータ構造に遭遇することがますます一般的になっている。
我々はK-Norm Gradient (KNG) 機構を介して測地回帰の微分プライベート(DP)パラメーターをリリースすることを検討する。
論文 参考訳(メタデータ) (2025-04-15T15:45:48Z) - GELATO: Geometrically Enriched Latent Model for Offline Reinforcement
Learning [54.291331971813364]
オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。
本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。
提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
論文 参考訳(メタデータ) (2021-02-22T19:42:40Z) - Identifying the latent space geometry of network models through analysis
of curvature [7.644165047073435]
本稿では,可換空間の経験的に関連するクラスから多様体の種類,次元,曲率を一貫して推定する手法を提案する。
私たちのコアインサイトは、このグラフを、シリック間の結びつきに基づく騒々しい距離行列として表現することで実現します。
論文 参考訳(メタデータ) (2020-12-19T00:35:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。