論文の概要: Entropy Regularization: A Free Correction to Cross-Entropy for Verified Demonstrations

• arxiv url: http://arxiv.org/abs/2609.30572v1
• Date: Thu, 24 Sep 2026 21:35:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.14716
• Title: Entropy Regularization: A Free Correction to Cross-Entropy for Verified Demonstrations
• Title（参考訳）: エントロピー正規化: 証明されたデモのためのクロスエントロピーに対する自由補正
• Abstract要約: 大規模な言語モデルは、しばしばクロスエントロピーを使った専門家によるデモンストレーションで後から訓練される。 このミスマッチは、複数の正しい解を持つ検証可能な領域で見られる。 クロスエントロピーの最小化は検証リスクの最小化と誤一致しうることを示す。
• 参考スコア（独自算出の注目度）: 21.346712319327064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are often post-trained on expert demonstrations using cross-entropy (CE), even when the downstream objective is not to imitate the demonstrated solution but to produce any output accepted by a verifier. This mismatch is seen in verifiable domains with multiple correct solutions, such as mathematical reasoning and code generation, where training data may contain only one expert solution per problem. We show that minimizing cross-entropy can be misaligned with minimizing verifier risk; two policies can assign identical likelihood to the observed demonstrations while placing different probability mass on incorrect outputs. This is formalized through a learning-theoretic counterexample in which CE minimization selects a suboptimal policy. We identify that controlling the support of the learned policy can solve this problem by preventing probability mass from spreading to unsupported outputs. Since support size is non-differentiable and computationally intractable, we propose entropy-regularized cross-entropy (ER-CE), using token-level Shannon entropy as a tractable proxy. Finally, across mathematical reasoning and code-generation benchmarks, we find that entropy-regularized training consistently improves verifier accuracy over standard cross-entropy. Our results identify a simple failure mode of imitation-based post-training in verifiable tasks and provide a practical objective that is better aligned with producing correct outputs.
• Abstract（参考訳）: 大規模な言語モデルは、しばしばクロスエントロピー(CE)を用いた専門家によるデモンストレーションで、たとえ下流の目的が、実証されたソリューションを模倣するのではなく、検証者によって受け入れられた出力を生成することであっても、後から訓練される。 このミスマッチは、数学的推論やコード生成など、複数の正しい解を持つ検証可能な領域で見られる。 2つのポリシーは、不正な出力に異なる確率質量を配置しながら、観測結果に同一の正当性を割り当てることができる。 これは、CEの最小化が準最適ポリシーを選択する学習理論の反例によって定式化される。 本研究は,学習方針の支持制御が,支持出力の拡散を防止し,この問題を解決できることを実証する。 そこで我々は,トークンレベルのシャノンエントロピーをトラクタブルプロキシとして用いたエントロピー正規化クロスエントロピー (ER-CE) を提案する。 最後に、数学的推論やコード生成ベンチマークを通じて、エントロピー規則化されたトレーニングは標準のクロスエントロピーよりも検証精度を一貫して向上させる。 提案手法は,検証可能なタスクにおける模擬後学習の単純な失敗モードを特定し,正しい出力を生成するのに適合した実用的目的を提供する。

関連論文リスト

• Learning Probabilistic Filters with Strictly Proper Scoring Rules [8.61813579171868]
  そこで本研究では,解析マップのトレーニングに基づくアンサンブルデータ同化手法である適切なスコアリングアンサンブルフィルタ(PSEF)を導入し,フィルタ分布を近似する。 我々は、実現可能性仮定の下で、人口目標が真のベイズフィルタ分布によって最小化されることを証明した。 数値実験により, 非線形, 非ガウス, 多モード後部を含む, 難解なフィルタ分布を正確に近似した。
  論文  参考訳（メタデータ） (2026-06-25T01:04:21Z)
• Taming the Tail: Stable LLM Reinforcement Learning via Dynamic Vocabulary Pruning [35.41241409574854]
  推論エンジンと数値的精度のトレーニングシステムは、同じパラメータから異なる確率分布を生成し、トレーニング推論ミスマッチを生成する。 このようなトークンを刈り取ることで、大きな、体系的にバイアスのあるミスマッチを、小さな、境界付けられた最適化バイアスと交換する。
  論文  参考訳（メタデータ） (2025-12-28T21:44:07Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Alignment Entropy Regularization [13.904347165738491]
  エントロピーを用いてモデルの不確実性を測定する。 許容アライメントの小さな部分集合にのみ確率質量を分配するようモデルに促すエントロピー正則化の効果を評価する。
  論文  参考訳（メタデータ） (2022-12-22T18:51:02Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Generalized Entropy Regularization or: There's Nothing Special about Label Smoothing [83.78668073898001]
  本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。 モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。 我々は,他のエントロピー正規化手法の使用を推奨する。
  論文  参考訳（メタデータ） (2020-05-02T12:46:28Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。