論文の概要: Stability as a Liability:Systematic Breakdown of Linguistic Structure in LLMs

• arxiv url: http://arxiv.org/abs/2601.18588v1
• Date: Mon, 26 Jan 2026 15:34:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.901355
• Title: Stability as a Liability:Systematic Breakdown of Linguistic Structure in LLMs
• Title（参考訳）: 責任としての安定性:LLMにおける言語構造の体系的破壊
• Authors: Xianzhe Meng, Qiangsheng Zeng, Ling Luo, Qinghan Yang, Jiarui Hao, Wenbo Wu, Qinyu Wang, Rui Yin, Lin Qi, Renzhi Lu,
• Abstract要約: 安定なパラメータトラジェクトリが定常解を導出し、経験的分布へのKLの分岐を最小化することを示す。 制御されたフィードバックベースのトレーニングフレームワークを用いて,この効果を実証的に検証する。 これは、最適化の安定性と生成的表現性は本質的に一致していないことを示し、安定性のみが生成的品質の指標として不十分であることを示している。
• 参考スコア（独自算出の注目度）: 5.96875296117642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training stability is typically regarded as a prerequisite for reliable optimization in large language models. In this work, we analyze how stabilizing training dynamics affects the induced generation distribution. We show that under standard maximum likelihood training, stable parameter trajectories lead stationary solutions to approximately minimize the forward KL divergence to the empirical distribution, while implicitly reducing generative entropy. As a consequence, the learned model can concentrate probability mass on a limited subset of empirical modes, exhibiting systematic degeneration despite smooth loss convergence. We empirically validate this effect using a controlled feedback-based training framework that stabilizes internal generation statistics, observing consistent low-entropy outputs and repetitive behavior across architectures and random seeds. It indicates that optimization stability and generative expressivity are not inherently aligned, and that stability alone is an insufficient indicator of generative quality.
• Abstract（参考訳）: 訓練安定性は、大言語モデルにおける信頼性の高い最適化の前提条件とみなされる。 本研究では,トレーニングダイナミクスの安定化が生成分布に与える影響を解析する。 安定なパラメータトラジェクトリは, 最大極性トレーニングの下では, 安定なパラメータトラジェクトリが定常解を導出し, 生成エントロピーを暗黙的に減少させながら, 経験的分布への前方KLの偏差をほぼ最小化することを示した。 その結果、学習モデルは、スムーズな損失収束性にもかかわらず、体系的な退化を示しながら、実験モードの限られた部分集合に確率質量を集中させることができる。 我々は、内部生成統計を安定化し、一貫した低エントロピー出力とアーキテクチャとランダムシードの反復的な振る舞いを観察する制御されたフィードバックベーストレーニングフレームワークを用いて、この効果を実証的に検証する。 これは、最適化の安定性と生成的表現性は本質的に一致していないことを示し、安定性のみが生成的品質の指標として不十分であることを示している。

関連論文リスト

• Why Smooth Stability Assumptions Fail for ReLU Learning [0.0]
  均一なスムーズ性に基づく安定プロキシがReLUネットワークに対してグローバルに保持できないことを示す。 古典的安定性境界の失敗を示す具体的な反例を示す。
  論文  参考訳（メタデータ） (2025-12-26T15:17:25Z)
• LILAD: Learning In-context Lyapunov-stable Adaptive Dynamics Models [4.66260462241022]
  LILADは、安定性と適応性を共同で保証する、システム識別のための新しいフレームワークである。 我々は、LILADをベンチマーク自律システム上で評価し、適応性、堅牢性、非適応性のベースラインを予測精度で上回ることを示す。
  論文  参考訳（メタデータ） (2025-11-26T19:20:49Z)
• MaP: A Unified Framework for Reliable Evaluation of Pre-training Dynamics [72.00014675808228]
  大規模言語モデルの不安定性評価プロセスは、真の学習力学を曖昧にする。 textbfMaPは、アンダーラインMergingアンダーラインとアンダーラインPass@kメトリックを統合するフレームワークです。 実験により、MaPはよりスムーズな性能曲線を示し、ラン間分散を低減し、より一貫性のあるランキングを保証する。
  論文  参考訳（メタデータ） (2025-10-10T11:40:27Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• Stability Evaluation via Distributional Perturbation Analysis [28.379994938809133]
  分布摂動に基づく安定性評価基準を提案する。 我々の安定性評価基準は,エフェダデータの腐敗とエフェサブ人口シフトの両方に対処できる。 実証実験により,現実のアプリケーションにまたがる安定性評価基準の実用性を検証する。
  論文  参考訳（メタデータ） (2024-05-06T06:47:14Z)
• Minimax Optimal Estimation of Stability Under Distribution Shift [8.893526921869137]
  分散シフト中のシステムの安定性を解析する。 安定性尺度は、より直感的な量、許容される性能劣化のレベルで定義される。 ミニマックス収束速度の特性は, 高い性能劣化に対する安定性の評価が統計的コストをもたらすことを示している。
  論文  参考訳（メタデータ） (2022-12-13T02:40:30Z)
• Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
  ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。 本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
  論文  参考訳（メタデータ） (2021-05-17T08:36:18Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。