論文の概要: When Updating Stops Being Learning: Rethinking LLM Self-Evolution via learnable information gain

• arxiv url: http://arxiv.org/abs/2609.36535v1
• Date: Tue, 29 Sep 2026 02:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.117629
• Title: When Updating Stops Being Learning: Rethinking LLM Self-Evolution via learnable information gain
• Title（参考訳）: アップデートが学習をやめる時 - 学習可能な情報獲得を通じてLLMの自己進化を再考する
• Abstract要約: 自己進化(Self-evolution)は、大規模な言語モデル(LLM)を自身の生成されたデータを使って反復的に改善するが、多くの場合、自己進化の退化に悩まされる。 本稿では,学習可能な情報ゲインに基づく総合的枠組みを提案し,前回のラウンドと比較して,ラウンドがどれだけ斬新でパラメータ化可能な情報を提供するかを測定する。
• 参考スコア（独自算出の注目度）: 24.79800357697737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-evolution lets large language models (LLMs) improve iteratively using their own generated data, but often suffers from self-evolution degeneration: performance improves, plateaus, then declines. Existing methods address this issue at the component level, targeting either the Questioner or the Solver, and overlook that self-evolution is a tightly coupled system. We propose a holistic framework based on learnable information gain, which measures how much novel, parameterizable information a round provides relative to the previous round. Theoretically, this gain equals the Kullback-Leibler divergence between the two rounds' data distributions plus their entropy change. Practically, it is estimated by fitting a small language model to the previous round and scoring new data via negative log-likelihood. Based on this diagnostic, we propose ATRI (Adaptive Training Regulation via Information-gain), which reweights samples within a round and halts training across rounds when information gain remains low. Experiments on popular datasets demonstrate the superiority of our proposal.
• Abstract（参考訳）: 自己進化(Self-evolution)は、大規模な言語モデル(LLM)を自身の生成されたデータを使って反復的に改善するが、しばしば自己進化の退化に悩まされる。 既存の方法はコンポーネントレベルでこの問題に対処し、質問者またはソルバーをターゲットにし、自己進化は密結合したシステムであると見落としている。 本稿では,学習可能な情報ゲインに基づく包括的枠組みを提案する。このフレームワークは,ラウンドが前ラウンドに対してどれだけ斬新でパラメータ化可能な情報を提供するかを測定する。 理論的には、この利得は2つのラウンドのデータ分布とエントロピーの変化の間のクルバック・リーバーの偏差と等しい。 実際には、小さな言語モデルを前回のラウンドに適合させ、負のログのような形で新しいデータをスコアリングすることによって推定される。 本診断に基づき,ATRI(Adaptive Training Regulation via Information-Gain)を提案する。 一般的なデータセットの実験は、我々の提案の優越性を実証している。

関連論文リスト

• Invariance-Based Dynamic Regret Minimization [8.349786817840858]
  我々は、時間とともに、リニアパラメータが報酬とコンテキストを接続する非定常線形帯域を考える。 我々は、報酬モデルが定常成分と非定常成分に分解されると仮定して、変化に適応しつつ、歴史的データを活用することを提案する。
  論文  参考訳（メタデータ） (2026-03-04T08:47:02Z)
• Self-Play Only Evolves When Self-Synthetic Pipeline Ensures Learnable Information Gain [22.77669491242655]
  大規模言語モデル(LLM)は、自己進化ループを通じて改善されるシステムを構築するのにもっとも適している。 持続可能な自己進化には、繰り返しにまたがる学習可能な情報を備えた自己合成データパイプラインが必要です。
  論文  参考訳（メタデータ） (2026-02-10T08:12:09Z)
• Info-Coevolution: An Efficient Framework for Data Model Coevolution [11.754869657967207]
  モデルとデータをバイアスのないオンライン選択アノテーションで共進化させる新しいフレームワークを提案する。 ImageNet-1Kのような現実世界のデータセットでは、Info-Coevolutionはアノテーションとトレーニングコストをパフォーマンス損失なく32%削減する。
  論文  参考訳（メタデータ） (2025-06-09T17:04:11Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Deep Regression Unlearning [6.884272840652062]
  我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。 我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
  論文  参考訳（メタデータ） (2022-10-15T05:00:20Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。