論文の概要: Tracking Representation Dynamics in Large Language Models with Persistent Homology

• arxiv url: http://arxiv.org/abs/2606.19542v1
• Date: Wed, 17 Jun 2026 19:35:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.508618
• Title: Tracking Representation Dynamics in Large Language Models with Persistent Homology
• Title（参考訳）: 永続ホモロジーを用いた大規模言語モデルにおける追跡表現ダイナミクス
• Authors: Naman Malhotra, Jay Ambadkar, Abhinav Gupta, Kushal Kasivel, Abbas Schwarz, Kamillo Ferry, Anthea Monod,
• Abstract要約: 永続的ホモロジーを用いたアライメントダイナミクスの研究を行う。 トポロジカルリオーガナイゼーションの大部分は,トレーニングの初期段階に発生することが判明した。 異なるアライメントの目的は、区別可能なトポロジカルな軌跡を誘導し、命令調整および事前訓練されたモデルは、質的に異なる進化パターンを示す。
• 参考スコア（独自算出の注目度）: 5.665477411284105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are commonly aligned through supervised fine-tuning, yet little is known about how their internal representations evolve during this process. We study alignment dynamics using persistent homology by tracking the topology of activation spaces throughout fine-tuning. Across four transformer language models ranging from 1B to 7B parameters and three alignment objectives corresponding to helpful, harmless, and mixed training data, we find that the majority of topological reorganization occurs during the earliest stages of training. A dense checkpoint analysis reveals a transient peak in topological activity followed by rapid stabilization. We further show that different alignment objectives induce distinguishable topological trajectories, while instruction-tuned and pretrained models exhibit qualitatively different patterns of evolution. Our results suggest that persistent homology provides a complementary perspective on alignment, revealing representation-level changes that are not apparent from behavioral metrics alone.
• Abstract（参考訳）: 大規模言語モデルは通常、教師付き微調整によって整列されるが、その過程で内部表現がどのように進化するかは分かっていない。 我々は、微調整を通して活性化空間の位相を追跡することによって、持続的ホモロジーを用いてアライメントダイナミクスを研究する。 1Bパラメータから7Bパラメータまでの4つのトランスフォーマー言語モデルと、3つのアライメント目標が、有益で無害で混在したトレーニングデータに対応し、トポロジカル再構成の大部分がトレーニングの初期段階に発生することが判明した。 濃密なチェックポイント解析では、トポロジカルな活動の過渡的なピークと、急激な安定化が示される。 さらに、異なるアライメント目的が区別可能なトポロジカルトラジェクトリを誘導し、命令調整および事前訓練されたモデルが定性的に異なる進化パターンを示すことを示す。 以上の結果から, 持続的ホモロジーは, 行動指標だけでは明らかでない表現レベルの変化を相補的な視点で示すことが示唆された。

関連論文リスト

• A Mechanistic Analysis of Looped Reasoning Language Models [41.640597313586525]
  ループ言語モデルにおける潜時状態の力学解析を行う。 研究されたモデルの多くに対して、サイクルの各層は異なる固定点に収束することを示す。 繰り返しブロックは、フィードフォワードモデルのモデルを密接に反映した推論の段階を学ぶ。
  論文  参考訳（メタデータ） (2026-04-13T17:55:36Z)
• Mechanistic Analysis of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [0.0]
  大規模言語モデルは、事前学習と微調整のパラダイムを通じて、多様なタスクにまたがる顕著なパフォーマンスを示す。 逐次的タスクの連続的な微調整は破滅的な忘れを招き、新たに取得した知識は以前に学習された能力に干渉する。 注意重みの勾配干渉、中間層における表現的ドリフト、および損失景観平坦化の3つの主要なメカニズムを同定する。
  論文  参考訳（メタデータ） (2026-01-26T17:15:10Z)
• Dynamical Systems Analysis Reveals Functional Regimes in Large Language Models [0.8694591156258423]
  大規模言語モデルは高次元内部力学を用いてテキスト生成を行う。 ほとんどの解釈可能性のアプローチは静的表現や因果的介入に重点を置いており、時間構造はほとんど探索されていない。 本稿では,自己回帰生成中のアクティベーション時系列から計算した複合動的計量について論じる。
  論文  参考訳（メタデータ） (2026-01-11T21:57:52Z)
• Empirical Investigation of Latent Representational Dynamics in Large Language Models: A Manifold Evolution Perspective [4.935224714809964]
  本稿では,低次元意味多様体上で進化する連続軌跡として,大規模言語モデル(LLM)の生成をモデル化する概念的フレームワークである動的マニフォールド進化論(DMET)を紹介する。 この理論は、3つの解釈可能な測度-状態連続性(C$)、誘引子コンパクト性(Q$)、トポロジカル持続性(P$)を通じて潜在力学を特徴づけ、滑らかさ、安定性、表現進化の構造を共同で捉える。
  論文  参考訳（メタデータ） (2025-05-24T14:17:50Z)
• Bridging Critical Gaps in Convergent Learning: How Representational Alignment Evolves Across Layers, Training, and Distribution Shifts [1.9458156037869137]
  収束学習は、神経システムが同様の内部表現に到達する度合いである。 数十の視覚モデルと数千の層対比較にまたがる収束学習の大規模監査を行う。 発見は、表現の収束に対する理解において重要なギャップを埋め、神経科学とAIに影響を及ぼす。
  論文  参考訳（メタデータ） (2025-02-26T00:04:24Z)
• Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
  我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。 物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。 本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
  論文  参考訳（メタデータ） (2023-04-25T15:53:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。