論文の概要: Language Model Activations Inhabit Privileged Error-Correcting Basins

• arxiv url: http://arxiv.org/abs/2610.04183v1
• Date: Sat, 03 Oct 2026 00:47:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 19:31:39.531556
• Title: Language Model Activations Inhabit Privileged Error-Correcting Basins
• Title（参考訳）: 誤り訂正盆地に生息する言語モデル活性化
• Abstract要約: 言語モデルは、リニアステアリングのような介入によってアクティベーションが乱される場合でも、コヒーレントテキストを生成する。 低次元曲線上でのモデル層の作用を観察することにより,言語モデル活性化空間の幾何学について検討する。 本研究は,アクティベーション空間の幾何学的解析を言語モデルの解釈と制御のための有望なアプローチとして確立した。
• 参考スコア（独自算出の注目度）: 49.28577009680152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models exhibit remarkable robustness, continuing to produce coherent text even when their activations are perturbed by interventions like linear steering. We hypothesize that this robustness is a result of passive dynamics, i.e., constraining mechanisms in the forward pass that funnel activations toward "good" regions that produce coherent outputs. To investigate these hypothesized error-correcting mechanisms, we probe the geometry of language model activation space by observing the action of model layers on low-dimensional curves. In doing so, we discover that model activations occur within a cluster of distinct attracting basins, which differentiate natural activations geometrically from distributionally similar synthetic activations. Applying this lens to language model steering, we observe feature-specific basins along semantic steering directions, and find that steering moves activations between these basins. To demonstrate the active role of this geometry in neural computation, we show that adaptively modulating steering strength to transport activations across basins improves inter-language steering, significantly increasing the probability of sampling tokens from the target language compared to fixed-strength steering. Our findings establish analysis of activation space geometry as a promising approach to interpreting and controlling language models.
• Abstract（参考訳）: 言語モデルは顕著な堅牢性を示し、リニアステアリングのような介入によってアクティベーションが乱される場合でも、コヒーレントなテキストを生成し続ける。 我々は、このロバスト性は受動動力学の結果である、すなわち、コヒーレントな出力を生成する「良い」領域に対するファンネルの活性化が前方通過の制約機構である、という仮説を立てる。 低次元曲線上でのモデル層の作用を観察することにより, 言語モデルの活性化空間の幾何を探索する。 このようにして、モデル活性化は、分布的に類似した合成活性化と幾何学的に自然な活性化を区別する、異なる誘引盆地のクラスタ内で発生する。 このレンズを言語モデルステアリングに適用し、セマンティックステアリング方向に沿って特徴特異的な盆地を観察し、ステアリングがこれらの盆地間の活性化を移動することを確認する。 ニューラルネットワークにおけるこの形状のアクティブな役割を示すため,流域を横断する移動活性化に対する操舵強度の適応的調節が言語間ステアリングを改善し,固定強度ステアリングと比較して標的言語からのサンプリングトークンの確率を著しく高めることを示した。 本研究は,アクティベーション空間の幾何学的解析を言語モデルの解釈と制御のための有望なアプローチとして確立した。

関連論文リスト

• Naturalness-guided Manifold Flow Matching for Sign Language Production [78.40981340130402]
  テキストから手話の動きを生成するための自然言語誘導マニフォールドフローマッチングフレームワークを提案する。 多様体の固有幾何を利用して、運動分布を特徴付ける運動自然度尺度を導入する。
  論文  参考訳（メタデータ） (2026-09-27T08:12:10Z)
• Activation Steering Induces Emergent Misalignment: A More Comprehensive Evaluation [74.17379276939599]
  近年のQwen-3.5シリーズにおいても,アクティベーションステアリングが広範囲のアライメントを引き起こすことが示されている。 ステアリングサイズ, ステアリングサブスペースの低ランク構造, ステアリングベクター構築時のエポック数など, キーステアリング固有の因子を解析することにより, AS誘起EMの特性を特徴づける。
  論文  参考訳（メタデータ） (2026-06-07T15:34:59Z)
• Spherical Steering: Geometry-Aware Activation Rotation for Language Models [15.078810641141295]
  推論時ステアリングは、言語モデル(LM)をトレーニングのコストなしで制御するための有望なパラダイムとして登場した。 本研究では,活性化回転によりこのトレードオフを解消する訓練不要プリミティブである球状ステアリングについて検討する。 本手法は,信号の完全性を保ちながら,測地線に沿って目標方向に向かって活性化を回転させ,目標概念に向けての活性化を誘導する。
  論文  参考訳（メタデータ） (2026-02-09T00:15:47Z)
• Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics [81.80010043113445]
  局所的な微調整、LoRAに基づく適応、およびアクティベーションに基づく介入を分離して研究する。 制御信号によって誘導される動的ウェイト更新として、これらの介入をフレーム化する統一的な視点を示す。 提案手法では,選択と効用との間に一貫したトレードオフが観測される。
  論文  参考訳（メタデータ） (2026-02-02T17:04:36Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Controlling Topological Defects in Polar Fluids via Reinforcement Learning [1.523267496998255]
  拘束活性流体中の整数帯電欠陥の閉ループステアリングについて検討した。 本研究では, アクティブストレスの局所的な制御が, 所定の軌道に沿った流れ場を再現し, 直接的欠陥を生じさせることを示す。 結果は、トポロジカルな励起を操作するために、AIエージェントが基礎となる力学と空間的構造的活動を学ぶ方法を強調している。
  論文  参考訳（メタデータ） (2025-07-25T14:12:11Z)
• Linearly Controlled Language Generation with Performative Guarantees [4.447467536572626]
  我々は、LMの潜在空間で線形に表現される概念意味論の共通モデルを用いる。 自然言語生成はこの連続的な意味空間における軌跡を辿ると考える。 本研究では,望ましくない意味に対応する領域から動的に軌道を逸脱する,軽量で勾配のない介入を提案する。
  論文  参考訳（メタデータ） (2024-05-24T11:30:44Z)
• Improving Activation Steering in Language Models with Mean-Centring [10.101141087916133]
  目標データセットに関連付けられたアクティベーションの平均値と、トレーニングアクティベーションの平均値を減じることで、効果的なステアリングベクトルが得られることがわかった。 また、関数ベクトルを抽出するために平均セントリングを適用し、より効果的に自然言語タスクの実行を顕著なマージンでトリガーする。
  論文  参考訳（メタデータ） (2023-12-06T18:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。