論文の概要: Escaping Mode Collapse in LLM Generation via Geometric Regulation

• arxiv url: http://arxiv.org/abs/2605.00435v1
• Date: Fri, 01 May 2026 06:12:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.868776
• Title: Escaping Mode Collapse in LLM Generation via Geometric Regulation
• Title（参考訳）: 幾何学的制御によるLCM生成における脱出モードの崩壊
• Authors: Xin Du, Kumiko Tanaka-Ishii,
• Abstract要約: 我々は、状態空間のアクセシビリティの低下として、動的システムビューと再解釈モードの崩壊を捉えている。 本稿では,支配的な自己強化方向を規定する軽量かつオンラインな状態空間介入であるReinforced Mode Regulation (RMR)を提案する。 RMRはモード崩壊を大幅に低減し、非常に低いエントロピー速度で安定で高品質な生成を可能にする。
• 参考スコア（独自算出の注目度）: 11.183390901786659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mode collapse is a persistent challenge in generative modeling and appears in autoregressive text generation as behaviors ranging from explicit looping to gradual loss of diversity and premature trajectory convergence. We take a dynamical-systems view and reinterpret mode collapse as reduced state-space accessibility caused by *geometric collapse*: during generation, the model's internal trajectory becomes confined to a low-dimensional region of its representation space. This implies mode collapse is not purely a token-level phenomenon and cannot be reliably solved by symbolic constraints or probability-only decoding heuristics. Guided by this perspective, we propose *Reinforced Mode Regulation* (RMR), a lightweight, online state-space intervention that regulates dominant self-reinforcing directions in the Transformer value cache (implemented as low-rank damping). Across multiple large language models, RMR substantially reduces mode collapse and enables stable, high-quality generation at extremely low entropy rates (down to 0.8 nats/step), whereas standard decoding typically collapses near 2.0 nats/step.
• Abstract（参考訳）: モード崩壊は生成的モデリングにおいて永続的な課題であり、明示的なループから多様性の段階的な喪失、早期の軌道収束までの行動として自己回帰テキスト生成に現れる。 動的システムのビューと再解釈モードの崩壊を*幾何学的崩壊によって引き起こされる状態空間のアクセシビリティの低減として捉え、生成時にモデルの内部軌道はその表現空間の低次元領域に制限される。 これはモード崩壊が純粋にトークンレベルの現象ではなく、記号的制約や確率のみの復号ヒューリスティックによって確実に解決できないことを意味する。 この観点から、トランスフォーマー値キャッシュ(低ランクダンピングとして実装)において、支配的な自己強化方向を規制する軽量でオンラインな状態空間介入である*強化モードレギュレーション*(RMR)を提案する。 複数の大きな言語モデル全体で、RMRはモードの崩壊を大幅に減らし、非常に低いエントロピーレート(0.8ナット/ステップまで)で安定した高品質な生成を可能にする。

関連論文リスト

• Allo{SR}$^2$: Rectifying One-Step Super-Resolution to Stay Real via Allomorphic Generative Flows [32.29950358173077]
  大規模拡散モデルとフローベースモデルの強力な生成先行モデルを活用することで、実世界の超解像(Real-SR)が革新された。 AlloSR$2$は、高忠実な生成リアリズムを維持するために同型生成フローを介して一段階のSR軌道を補正する新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-04-21T08:44:40Z)
• LEGATO: Good Identity Unlearning Is Continuous [30.78585550012454]
  LEGATOは、生成モデルのアイデンティティを忘れることを学ぶための機械学習手法である。 最先端の忘れパフォーマンスを実現し、破滅的な崩壊を回避し、微調整されたパラメータを減らす。 実験の結果,LEGATOは最先端の忘れ物性能を実現し,破滅的な崩壊を回避し,微調整パラメータを低減できることがわかった。
  論文  参考訳（メタデータ） (2026-01-07T13:15:25Z)
• RRAEDy: Adaptive Latent Linearization of Nonlinear Dynamical Systems [2.4662459762262894]
  本稿では,潜在空間における低次元力学の学習モデルであるRRAEDyを紹介する。 我々はRRAEDyが正確かつ堅牢な予測を実現することを示す。 私たちのコードはオープンソースで、https://github.com/JadM133/RRAEDy.comで公開しています。
  論文  参考訳（メタデータ） (2025-12-08T13:23:12Z)
• MambaX: Image Super-Resolution with State Predictive Control [48.76194230142064]
  Mambaは、再構築プロセス全体を複数のノードによる状態シーケンスとして表現し、中間的介入を可能にする、有望なアプローチとして登場した。 我々は、連続するスペクトル帯域を潜在状態空間にマッピングする非線形状態予測制御モデル textbfMambaX を作成し、制御方程式の非線形状態パラメータを動的に学習することでSRタスクを一般化した。 本評価では, 単一像SRと多モード融合型SRの両タスクにおいて, 動的スペクトル状態表現モデルの優れた性能を示す。
  論文  参考訳（メタデータ） (2025-11-22T11:44:09Z)
• On the Joint Minimization of Regularization Loss Functions in Deep Variational Bayesian Methods for Attribute-Controlled Symbolic Music Generation [47.38557855930304]
  明示的な潜在変数モデルは、データ合成のための柔軟だが強力なフレームワークを提供する。 既存のアプローチは、両方の正規化目標を共同で最小化するのに苦労していることを示す。 適切な属性変換は、目標潜在次元の可制御性と正則化の両方を達成するのに有効であることを示す。
  論文  参考訳（メタデータ） (2025-11-10T14:09:25Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。