論文の概要: GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs

• arxiv url: http://arxiv.org/abs/2606.19946v1
• Date: Thu, 18 Jun 2026 08:43:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.741655
• Title: GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs
• Title（参考訳）: GEMS:LLMにおけるマルチセマンティック重ね合わせを可能にする幾何学的制約
• Authors: Yu Deng,
• Abstract要約: アクティベーションステアリング(Activation steering)は、推論時に中間隠れ状態を変更することで、リトレーニングなしでモデル動作を制御する。 制約なしに複数の意味的方向が重畳されると、モデルは崩壊する。 GEMSは,各ソースを対応する幾何学的制約にマッピングする訓練不要な手法である。
• 参考スコア（独自算出の注目度）: 5.018957704056544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering controls model behavior by modifying intermediate hidden states at inference time without retraining. Existing methods handle only single-direction injection; when multiple semantic directions are superposed without constraints, the model collapses. We show that this collapse decomposes into two independently acting sources: distributional deviation, where additive perturbations accumulate in norm across layers and drive activations outside the training distribution, and directional interference, where non-orthogonal semantic vectors mutually dampen when superposed. These two sources define the design constraints that any training-free multi-directional intervention must address. As one instantiation of these principles, we propose GEMS, a training-free method that maps each source to a corresponding geometric constraint: norm-preserving weighted superposition and targeted attention-pathway injection for distributional deviation, and real-time orthogonalization for directional interference. On GSM8K, injecting three concurrent non-mathematical directions preserves accuracy at 98% (baseline 92%), while unconstrained addition collapses to 4%; on Wikitext-2, the same injection incurs only 2.2% PPL increase. Component ablation isolates the causal role of each constraint, and layer-level probes confirm that orthogonalized signals survive the FFN pathway and reach the output distribution with semantic specificity. Qualitative steering effects transfer across architectures from 3B to 31B.
• Abstract（参考訳）: アクティベーションステアリング(Activation steering)は、推論時に中間隠れ状態を変更することで、リトレーニングなしでモデル動作を制御する。 既存の方法は単一方向注入のみを処理し、制約なしに複数のセマンティックな方向が重畳されると、モデルは崩壊する。 この崩壊は、2つの独立に作用する源である分布偏差(英語版)に分解され、層をまたいで加法摂動がノルムに蓄積され、トレーニング分布外の活性化が促進される)と、非直交意味ベクトルが重畳されると相互に減衰する方向干渉(英語版)に分解されることを示す。 これら2つの情報源は、トレーニング不要な多方向介入に対処しなければならない設計上の制約を定義している。 本稿では,これらの原理の即時化として,標準保存重み付き重み付き重み付き重み付き重み付けと,分布偏差に対する目標注意経路注入,指向性干渉に対するリアルタイム直交化という,各音源を対応する幾何的制約にマッピングする訓練自由手法であるGEMSを提案する。 GSM8Kでは、3つの同時的な非数学的方向の注入は精度を98%(ベースライン92%)に保ち、非拘束的な加算は4%に低下する。 成分アブレーションは各制約の因果的役割を分離し、層レベルのプローブは直交した信号がFFN経路を生き残り、意味的特異性で出力分布に達することを確認する。 定性的ステアリング効果は3Bから31Bに転移する。

関連論文リスト

• Dual-Granularity Orthogonal Disentanglement for Generalizable Audio Deepfake Detection [1.6262949941980935]
  ディープフェイク検出器は、合成アーティファクトではなく、話者同一性の特徴を学ぶため、話者間での一般化に失敗することが多い。 本稿では,2つのレベルにおいて特徴独立を強制する二重粒度直交不整合フレームワークを提案する。 ASVspoof 2019 LA、ASVspoof 2021 DF、In-the-Wildデータセットの実験では、提案手法が1.35%、7.88%、および21.58%のエラー率を達成したことが示されている。
  論文  参考訳（メタデータ） (2026-06-15T10:36:57Z)
• Trajectory-Aware Node Contributions and the Limits of Static Controllability [0.0]
  エマージェント・コントリビューション(emergent Contributence)とは、ノードの動的レバレッジの尺度である。 「EC」は線形時間不変極限における平均的な制御可能性に正確に還元する。 この位相空間内の複数の領域から推定される実数系を5つ配置する。
  論文  参考訳（メタデータ） (2026-06-02T02:56:36Z)
• Measuring and Decomposing Mode Separation via the Canonical Diffusion [0.0]
  モード分離は密度の基本的な幾何学的性質であり、高次元での定量化が難しい。 密度に固有の1つのプロセスを通してモード分離を測定する。 i)合成ガウス混合物,(ii)SDXLテキスト・トゥ・イメージ世代,(ii)SSAとDAがエントロピーとPCAミスを捉えた構造,(iii)アラニンジペプチドの分子動力学,(iii)DAは静的サンプルから既知の遅いバックボーンを回収する。
  論文  参考訳（メタデータ） (2026-05-09T08:05:55Z)
• SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training [54.8494905524997]
  分散トレーニングは、信頼できない、地理的に分散したノードで実行される場合、重大なセキュリティリスクをもたらす。 重複のないパイプライン並列性(PP)トレーニングの検証機構であるSENTINELを提案する。 実験では、モデル収束と性能を維持しながら、最大176人の労働者を持つ信頼できない分散環境における最大4BパラメータLSMのトレーニングを成功させた。
  論文  参考訳（メタデータ） (2026-03-03T23:51:10Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• On the Collapse of Generative Paths: A Criterion and Correction for Diffusion Steering [29.633206995806542]
  インタイムステアリングにより、事前トレーニングされた拡散/フローモデルを、再トレーニングせずに新しいタスクに適合させることができる。 この構造には批判的かつ以前は形式化されていなかった障害モード(Marginal Path Collapse)がある。 本稿では,Feynman-Kac ステアリングを時間変化指数に拡張する Adaptive path Correction with Exponents (ACE) を提案する。
  論文  参考訳（メタデータ） (2025-12-11T06:44:08Z)
• Departures: Distributional Transport for Single-Cell Perturbation Prediction with Neural Schrödinger Bridges [51.83259180910313]
  遺伝子機能解析における大きなボトルネックは、単細胞データの未成熟の性質である。 我々は、SB(Schrdinger Bridge)を近似して、単セル摂動データに対処する。 本モデルは,異種単一セル応答を効果的に捉え,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-11-17T08:27:13Z)
• Adaptive Dual Uncertainty Optimization: Boosting Monocular 3D Object Detection under Test-Time Shifts [80.32933059529135]
  TTA(Test-Time Adaptation)メソッドが出現し、推論中にターゲット分布に適応する。 我々は、堅牢なM3ODの両不確実性を共同で最小化するために設計された、最初のTTAフレームワークであるDual Uncertainity Optimization (DUO)を提案する。 並列に,明瞭な意味的手がかりを持つ領域における幾何学的コヒーレンスを保存する意味認識型正規場制約を設計する。
  論文  参考訳（メタデータ） (2025-08-28T07:09:21Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。