論文の概要: Towards Physical Intuitions for Alignment Dynamics: A Case Study With Randomness Crystallization

• arxiv url: http://arxiv.org/abs/2606.29933v1
• Date: Mon, 29 Jun 2026 08:09:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.121793
• Title: Towards Physical Intuitions for Alignment Dynamics: A Case Study With Randomness Crystallization
• Title（参考訳）: 配向ダイナミクスの物理的直観 : ランダムネス結晶化の事例研究
• Abstract要約: 物理科学は、力学を推論するための原則的・過小評価された語彙を提供すると我々は主張する。 我々は、この位置を、よく研究された熱力学的相転移である物質結晶化のレンズを通してインスタンス化する。 本稿では,これらのフェーズ間の遷移を検証するための直感的なメトリクスを提案し,ランダムなタスクの範囲でそのアイデアを検証する。
• 参考スコア（独自算出の注目度）: 17.107790125434516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The alignment of language models is typically studied through the lens of capability benchmarks, but the dynamics of how models change during post-training remain poorly understood. We argue that the physical sciences, and thermodynamic phase-transition theory in particular, offer a principled and underexplored vocabulary for reasoning about these dynamics. As a case study, we instantiate this position through the lens of material Crystallization, which is a well-studied thermodynamic phase transition. For tasks like random number generation, this breaks into 3 phases: (1) the high entropy liquid phase in the pretrained model, with many distinct sampling distributions promptable from the model; (2) the nucleation phase caused by supervised finetuning, in which behavior collapses onto a single seed distribution present in the pretrained LLM; and (3) a settling phase in which reinforcement learning techniques redistribute probability of the collapsed distribution, but largely keep it concentrated on the same options as the seed distribution. We propose intuitive metrics to verify the transitions between these phases, and validate the idea across a range of random tasks. Crystallization is one instance of a broader class of physical frameworks we believe alignment research should import to answer questions about where alignment-induced structure comes from, why it converges where it does, and what it fundamentally cannot change.
• Abstract（参考訳）: 言語モデルのアライメントは、典型的には能力ベンチマークのレンズを通して研究されるが、訓練後のモデルの変化のダイナミクスはいまだに理解されていない。 物理科学、特に熱力学的相転移理論は、これらの力学を推論するために、原則的で未解明の語彙を提供する。 ケーススタディとして、熱力学的相転移がよく研究されている物質結晶化のレンズを通して、この位置をインスタンス化する。 ランダム数生成などのタスクでは,(1)事前学習モデルにおける高エントロピー液相と,(2)予測されたLLMに存在する単一種子分布に挙動が崩壊する微粒化による核生成相と,(3)強化学習技術が崩壊した分布の確率を再分配する沈降相の3つの相に分けられる。 本稿では,これらのフェーズ間の遷移を検証するための直感的なメトリクスを提案し,そのアイデアをランダムなタスクの範囲で検証する。 結晶化は、アライメント研究が、アライメントによって引き起こされる構造がどこから来るのか、なぜその構造がどこに収まるのか、根本的には変化しないのかという疑問に答えるために、インポートすべきであると考える、より広範な物理フレームワークの1つの例です。

関連論文リスト

• Is Convergence Inevitable? Tracing Output Homogeneity Back to Base Models [49.46165710676499]
  最初のアライメント段階から意味収束が観察される。 我々は収束を明らかにし増幅することができるが、SFTデータでは導入されないことを発見した。 その結果,LMトレーニングの根底にある目的から,意味収束が自然に生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-08-11T20:47:06Z)
• Phase Transitions in Driven Informational Systems: A Two-Field Perspective on Learning Theory and Non-Equilibrium Chemistry [0.0]
  非平衡統計物理学は、前生物選択に基づく誘導化学反応ネットワークにおける相転移を同定した。 本稿では,両現象のクラスが駆動情報システムとして共通記述を許容する視点を提案する。 本枠組みの幾何学的構造を概説し, 単体代替品と区別できる有理予測を同定し, 最近の経験的知見と整合性を示す。
  論文  参考訳（メタデータ） (2026-05-05T05:33:57Z)
• Causal Representation Meets Stochastic Modeling under Generic Geometry [49.24293444627916]
  我々は,連続時間潜在点過程の因果表現学習を開発する。 MUTATEは時間適応型遷移モジュールを持つ変分自動エンコーダフレームワークである。 シミュレーションおよび実証研究全体で、MUTATEは科学的疑問に効果的に答えられることが判明した。
  論文  参考訳（メタデータ） (2026-02-04T20:40:53Z)
• Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought [64.43689151961054]
  有向グラフ到達性問題に対する簡易な2層変圧器のトレーニング力学を理論的に解析する。 分析の結果,連続的思考を用いたトレーニングでは,まずインデックスマッチングロジットが増加し,その後は軽度な仮定の下で拘束されることがわかった。
  論文  参考訳（メタデータ） (2025-09-27T15:23:46Z)
• Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
  本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。 本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。 実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-10T17:04:39Z)
• Nonequilbrium physics of generative diffusion models [2.5690340428649328]
  生成拡散モデルは、物理学におけるランゲヴィン力学の概念を機械的傾きに適用する。 拡散モデルの透過的な物理解析を行い、揺らぎ定理、エントロピー生成、平衡測度、フランツ・パリポテンシャルを定式化する。 本研究は, 熱力学, 統計的推測, 幾何に基づく解析を関連付け, 生成拡散モデルがどのように機能するかのコヒーレントな図式を作成する。
  論文  参考訳（メタデータ） (2024-05-20T10:16:26Z)
• Observation of Time-Crystalline Eigenstate Order on a Quantum Processor [80.17270167652622]
  量子体系は、その低温平衡状態において豊富な相構造を示す。 超伝導量子ビット上の固有状態秩序DTCを実験的に観測する。 結果は、現在の量子プロセッサ上での物質の非平衡相を研究するためのスケーラブルなアプローチを確立する。
  論文  参考訳（メタデータ） (2021-07-28T18:00:03Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Entropy production dynamics in quench protocols of a driven-dissipative critical system [0.0]
  カーモデルのクエンチシナリオにおけるエントロピー生成速度のダイナミクスについて検討した。 エントロピー生産は2つのコントリビューションに分けられる。 特に後者は、異なる準安定状態間のクエンチに対して高い非断熱性を示す。
  論文  参考訳（メタデータ） (2020-07-28T19:30:51Z)
• Measurement-Driven Phase Transition within a Volume-Law Entangled Phase [0.0]
  本研究では,非局所的かつ少数身体的ユニタリダイナミクスにおける2種類のボリュームロー絡み合い相の遷移について検討する。 一相では、有限分数は完全に絡み合った状態に属し、二相では、定常状態は広範囲に多くの有限部分系上の積状態である。
  論文  参考訳（メタデータ） (2020-05-06T18:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。