論文の概要: Mitigating Capability Degradation in LLM Self-Improvement via Representation Geometry Regularization

• arxiv url: http://arxiv.org/abs/2610.12855v1
• Date: Fri, 09 Oct 2026 01:28:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.339277
• Title: Mitigating Capability Degradation in LLM Self-Improvement via Representation Geometry Regularization
• Title（参考訳）: 表現幾何学規則化によるLLM自己改善における能力劣化の軽減
• Abstract要約: On-Policy Self-distillation (OPSD)は、大規模言語モデル(LLM)のための自己改善パラダイムである。 本稿では,Representation Geometry Regularization (RGR) を提案する。 RGRは、コア最適化手順を変更することなく、既存のOPSDメソッドにシームレスに統合することができる。
• 参考スコア（独自算出の注目度）: 3.2425827266108835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-Policy Self-distillation is a self-improvement paradigm that enables large language models (LLMs) to improve their capabilities by leveraging the same model as both teacher and student under different conditioning contexts. However, we find that OPSD methods can progressively degrade previously acquired capabilities: queries that are correctly responded at earlier training stages may become incorrectly responded as optimization proceeds, even the overall performance continues to improve. Further analysis reveals that this degradation coincides with a deterioration of the geometry of hidden representations, characterized by reduced intra-cluster compactness and diminished inter-cluster separation. Motivated by this observation, we propose Representation Geometry Regularization (RGR), which preserves representation geometry during post-training by encouraging compactness within cluster and separation across cluster. RGR can be seamlessly integrated into existing OPSD methods without altering their core optimization procedures. Extensive experiments on multiple OPSD methods and benchmarks show that RGR generally alleviates capability degradation while retaining capability improvements. Our code is available in https://github.com/supermachinelearner/RGR.
• Abstract（参考訳）: オンライン自己蒸留(On-Policy Self-distillation)は、大きな言語モデル(LLM)が、異なる条件下で教師と学生の両方と同じモデルを活用することで、その能力を向上させるための自己改善パラダイムである。 しかし,OPSD法は,事前取得した性能を段階的に劣化させる可能性があることが判明した。早期訓練段階で正しく応答されたクエリは,最適化が進むにつれて誤応答する可能性があるが,全体的な性能は改善され続けている。 さらに解析した結果, この劣化は, クラスタ内コンパクトさの低下とクラスタ間分離の低下を特徴とする隠蔽表現の幾何の劣化と一致することがわかった。 本研究の目的は,クラスタ内のコンパクトさを奨励し,クラスタ間の分離を促進し,ポストトレーニング中の表現幾何を保存するRepresentation Geometry Regularization (RGR)を提案することである。 RGRは、コア最適化手順を変更することなく、既存のOPSDメソッドにシームレスに統合することができる。 複数のOPSDメソッドとベンチマークに関する大規模な実験は、RGRが機能改善を維持しながら、一般的に機能劣化を軽減していることを示している。 私たちのコードはhttps://github.com/supermachinelearner/RGRで利用可能です。

関連論文リスト

• Revisiting On-policy Adversarial Black-Box Distillation: Calibrating Groupwise Reward Geometry for Effective Advantage Construction [78.96080253280225]
  ブラックボックス蒸留は、APIアクセス可能な大規模言語モデルから機能を移行するための実用的な方法である。 GADのような近年の政敵法は、批判者と学生の間の対立ループを形成している。 本稿では,学生側報酬グループを形作ることによって利点を享受する2段階構成フレームワークGRGCを提案する。
  論文  参考訳（メタデータ） (2026-09-30T13:53:57Z)
• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• RODR: Riemannian Orthogonally Decoupled Regularization for Disentangled Manifold Representation [0.91963810502252]
  本稿では,点クラウド処理における不整合幾何最適化のための汎用的・解釈可能なフレームワークを提案する。 実験により、RODRは最先端のベースラインに匹敵する性能に達することが示された。
  論文  参考訳（メタデータ） (2026-07-27T03:12:14Z)
• Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency [53.28076739140119]
  本稿では,視覚・言語モデル(VLM)における論理的一貫性を幾何学的・言語的双対性演算によって実現する枠組みを提案する。 SAGEは、従来のGRPO法に比べてモデルに依存しず、データ効率が良く、既存のVLMに軽量な後学習段階として適用することができる。 ビデオおよび空間推論ベンチマークの実験では、強いベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-05-18T10:05:21Z)
• DegBins: Degradation-Driven Binning for Depth Super-Resolution [57.61783461543096]
  DegBinsは、劣化駆動のビンニングを利用して残留モデリングを適応的に強化する新しいDSRフレームワークである。 DegBinsは、精度、堅牢性、一般化の観点から、既存の最先端メソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-10T16:17:11Z)
• Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
  本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。 ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。 HERLは最先端のアプローチよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-18T10:50:46Z)
• Re-boosting Self-Collaboration Parallel Prompt GAN for Unsupervised Image Restoration [63.37145159948982]
  GAN(Generative Adversarial Network)に基づく教師なし復元アプローチは、ペアデータセットを必要としない、有望なソリューションを提供する。 しかし、これらの GAN ベースのアプローチは、従来の教師なし GAN ベースのフレームワークの性能を超えるのに苦労している。 本稿では,既存の修復モデルに対する自己協力戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-17T16:26:59Z)
• Adaptive Gradient Clipping for Robust Federated Learning [8.268485501864939]
  本稿では,適応型クリッピング戦略である適応ロバストクリッピング(ARC)を提案し,入力勾配に基づいて動的にクリッピング閾値を調整する。 ARCは、特に高度に異質で対向的な設定において、ロバスト性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-23T11:00:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。