論文の概要: Representations in Motion: Layer-wise Rotation and Trajectory Divergence in LLMs

• arxiv url: http://arxiv.org/abs/2610.25574v1
• Date: Sun, 18 Oct 2026 22:28:57 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:28:03.568182
• Title: Representations in Motion: Layer-wise Rotation and Trajectory Divergence in LLMs
• Title（参考訳）: 動きの表現:LLMにおける層状回転と軌道の多様性
• Abstract要約: 事実表現の進化を真偽文を用いて検討する。 本稿では,現実性方向が互いに遠ざかっているように見える幾何学的現象を報告する。 モデルが目的とする課題や行動について,軌道のみから強い予測を行うことが可能であることを示す。
• 参考スコア（独自算出の注目度）: 15.929939780888013
• License:
• Abstract: Recent work suggests that activation dynamics--how representations change during inference--might be more revealing about language model behavior than static readouts from individual layers. In this work, we investigate the layer-wise evolution of representations of factuality, using true and false statements when the model is prompted to either lie or to be honest. We report a geometric phenomenon in which the factuality directions extracted from the lying and honest conditions appear to rotate away from each other across layers. We find that such layer-wise rotation also occurs in a task that requires the model to take different visual perspectives in the 3D world, suggesting that the rotation phenomenon might be indicative of manipulating conceptual spaces in general, rather than unique to factuality. We then investigate the "real time" transformation of conceptual representations on a trial-to-trial basis. We show that it is possible to make strong predictions about the model's target task and behavior from trajectories alone. In addition, diverging points in single-trial trajectories correspond to the onset of rotation in aggregated-trial analysis. Finally, we show that both rotation and divergent trajectories occur in more naturalistic settings in which models are not overtly prompted to "lie" but rather report false statements in the course of completing a different task.
• Abstract（参考訳）: 最近の研究は、アクティベーションのダイナミクスが、推論中にどのように表現が変化するかを示している。 本研究では、モデルが嘘をつくか正直になるよう促されたときの真偽のステートメントを用いて、事実性の表現の階層的進化について検討する。 本稿では, 嘘や正直な条件から抽出した事実方向が, 層をまたいで互いに遠ざかっているように見える幾何学的現象を報告する。 このような階層的な回転は、3次元世界における異なる視覚的視点をモデルに求めるタスクにも生じており、回転現象は現実性に固有のものではなく、一般に概念空間を操作することの表れである可能性が示唆されている。 次に,試行錯誤に基づく概念表現の「実時間」変換について検討する。 モデルが目的とする課題や行動について,軌道のみから強い予測を行うことが可能であることを示す。 さらに, 単心房軌跡の分岐点は, 集積心房分析における回転開始に対応している。 最後に, 自転軌道と発散軌道の両方が, モデルが「満足」を過度に促されるのではなく, 異なるタスクを完了させる過程で, 虚言を報告するという, より自然主義的な条件下で生じることを示す。

関連論文リスト

• DyG$^2$T: Modeling Object Dynamics with 3D Gaussian Temporal-Spatial Particle Graph Transformer [86.4618122245946]
  DyG$2$Tは動的モデリングフレームワークで、キーポイント表現を空間的に完了し、時間的に識別することでオブジェクトの運動軌跡を推定する。 合成データセットと実世界のデータセットの両方の実験は、DyG$2$Tが正確な動的モデリングと推論を実現することを示した。
  論文  参考訳（メタデータ） (2026-08-19T03:44:28Z)
• Tracking Representation Dynamics in Large Language Models with Persistent Homology [5.665477411284105]
  永続的ホモロジーを用いたアライメントダイナミクスの研究を行う。 トポロジカルリオーガナイゼーションの大部分は,トレーニングの初期段階に発生することが判明した。 異なるアライメントの目的は、区別可能なトポロジカルな軌跡を誘導し、命令調整および事前訓練されたモデルは、質的に異なる進化パターンを示す。
  論文  参考訳（メタデータ） (2026-06-17T19:35:10Z)
• Truth as a Trajectory: What Internal Representations Reveal About Large Language Model Reasoning [19.48395840455837]
  大規模言語モデルのためのトラジェクトリ(TaT)としてTrathを導入する。 TaTは静的なアクティベーションから層幅の幾何変位への解析をシフトする。 本稿では,TaTが静的な語彙の共役に依存することを効果的に軽減し,従来の探索よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-03-01T23:52:10Z)
• Lie Flow: Video Dynamic Fields Modeling and Predicting with Lie Algebra as Geometric Physics Principle [48.28007238304401]
  LieFlowは動的放射率表現フレームワークで、動きを明示的にモデル化する。 SE(3)変換場は、運動の連続性と幾何学的整合性を維持するために物理的に着想を得た制約を強制する。 結果,SE(3)に基づくモーションモデリングは動的4Dシーンを表現するための頑健で物理的基盤の枠組みを提供することを確認した。
  論文  参考訳（メタデータ） (2026-02-25T07:19:18Z)
• Generative Perception of Shape and Material from Differential Motion [17.090405682103167]
  本稿では,物体の映像から形状・材料図を生成する条件付き拡散モデルを提案する。 本研究は、身体的身体的システムにおける視覚的推論を改善するための生成的知覚アプローチを提案する。
  論文  参考訳（メタデータ） (2025-06-03T05:43:20Z)
• Intensity Profile Projection: A Framework for Continuous-Time Representation Learning for Dynamic Networks [50.2033914945157]
  本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。 このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。 さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
  論文  参考訳（メタデータ） (2023-06-09T15:38:25Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)
• Addressing the Topological Defects of Disentanglement via Distributed Operators [10.29148285032989]
  ゆがみに対する一般的なアプローチは、これらの因子をモデルの潜在表現の別個の部分空間にマッピングする学習である。 ここでは、画像に作用する広範な変換系に対して、この手法がトポロジ的欠陥をもたらすことを示す。 群表現論の古典的な結果に動機付けられ、より柔軟な解離へのアプローチについて研究する。
  論文  参考訳（メタデータ） (2021-02-10T18:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。