Fugu-MT 論文翻訳(概要): Post-Completion Learning for Language Models

論文の概要: Post-Completion Learning for Language Models

arxiv url: http://arxiv.org/abs/2507.20252v1
Date: Sun, 27 Jul 2025 12:47:26 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-29 16:23:57.360132
Title: Post-Completion Learning for Language Models
Title（参考訳）: 言語モデルのためのポストコンプリート学習
Authors: Xiang Fei, Siqi Wang, Shu Wei, Yuxiang Nie, Wei Shi, Hao Feng, Can Huang,
Abstract要約: 現在の言語モデルトレーニングパラダイムは、エンド・オブ・シーケンス(eos>)トークンに到達して学習を終了する。モデル出力完了後のシーケンス空間を体系的に活用する新しい学習フレームワークであるポストコンプリート学習(PCL)を提案する。 PCLは、学習中の自己評価と報奨予測を継続し、完了点に停止することで効率的な推論を維持する。
参考スコア（独自算出の注目度）: 15.198094376958979
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Current language model training paradigms typically terminate learning upon reaching the end-of-sequence (<eos>}) token, overlooking the potential learning opportunities in the post-completion space. We propose Post-Completion Learning (PCL), a novel training framework that systematically utilizes the sequence space after model output completion, to enhance both the reasoning and self-evaluation abilities. PCL enables models to continue generating self-assessments and reward predictions during training, while maintaining efficient inference by stopping at the completion point. To fully utilize this post-completion space, we design a white-box reinforcement learning method: let the model evaluate the output content according to the reward rules, then calculate and align the score with the reward functions for supervision. We implement dual-track SFT to optimize both reasoning and evaluation capabilities, and mixed it with RL training to achieve multi-objective hybrid optimization. Experimental results on different datasets and models demonstrate consistent improvements over traditional SFT and RL methods. Our method provides a new technical path for language model training that enhances output quality while preserving deployment efficiency.
Abstract（参考訳）: 現在の言語モデルトレーニングのパラダイムは、一般的に、終末(<eos>})トークンに到達することで学習を終了させ、ポストコンプリート空間における潜在的な学習機会を見越す。モデル出力完了後のシーケンス空間を体系的に活用する新しい学習フレームワークであるポストコンプリート学習(PCL)を提案し,推論能力と自己評価能力の両立を図る。 PCLは、学習中の自己評価と報奨予測を継続し、完了点に停止することで効率的な推論を維持する。このポストコンプリート空間を十分に活用するために、モデルに報酬規則に従って出力内容を評価し、そのスコアを監督のための報酬関数で計算・調整させるホワイトボックス強化学習法を設計する。推論と評価の両方を最適化するためにデュアルトラックSFTを実装し、RLトレーニングと組み合わせて多目的ハイブリッド最適化を実現する。異なるデータセットとモデルに対する実験結果は、従来のSFT法やRL法よりも一貫した改善を示している。本手法は,デプロイメント効率を保ちながら,出力品質を向上させる言語モデルトレーニングのための新しい技術パスを提供する。

関連論文リスト

Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
論文参考訳（メタデータ） (2025-06-17T17:12:34Z)
Reinforcement learning fine-tuning of language model for instruction following and math reasoning [0.0]
コンパクト言語モデル(Qwen2.5-0.5Bベース)における強化学習手法の有効性について検討する。本研究では, 教師付き微調整(SFT), 嗜好ラベル付きデータを用いた直接選好最適化(DPO), 報酬モデルによるReinforce Leave-One-Out(RLOO)を比較した。実験により、DPOが強固で一貫した結果をもたらすのに対し、DeBERTaの報酬モデリングを用いたROOは最適なアライメントを実現することが示された。
論文参考訳（メタデータ） (2025-06-11T22:49:42Z)
Estimating the Effects of Sample Training Orders for Large Language Models without Retraining [49.59675538160363]
大規模言語モデル(LLM)において,サンプルの訓練順序が重要な役割を担っている従来の手法では、様々なサンプル順序でモデルを再訓練する必要がある。リトレーニングフリーのフレームワークを設計することで従来の手法を改善します。
論文参考訳（メタデータ） (2025-05-28T07:07:02Z)
Feature Alignment-Based Knowledge Distillation for Efficient Compression of Large Language Models [4.737806982257592]
本研究では,大規模言語モデルと特徴アライメントに基づく知識蒸留アルゴリズムを提案する。提案モデルは, パープレキシティ, BLEU, ROUGE, CER などの評価指標を用いて, 最先端の GPT-4 モデルに非常に近い性能を示す。
論文参考訳（メタデータ） (2024-12-27T04:37:06Z)
Joint Training for Selective Prediction [5.662924503089369]
選択予測法は、分類器の出力をいつ採用するか、人間に延期するかを決定する。以前の方法の1つは、エンジニアリングされた特徴に基づいて遅延モデルを学習することである。分類器モジュールが使用する学習表現と学習遅延ポリシーを同時に最適化する新しい共同学習手法を提案する。
論文参考訳（メタデータ） (2024-10-31T15:28:26Z)
In2Core: Leveraging Influence Functions for Coreset Selection in Instruction Finetuning of Large Language Models [37.45103473809928]
In2Coreアルゴリズムは,トレーニングモデルと評価サンプルの相関関係を解析し,コアセットを選択する。 LLMの微調整データにアルゴリズムを適用することで、トレーニングデータの50%で同様の性能を実現することができる。
論文参考訳（メタデータ） (2024-08-07T05:48:05Z)
DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
論文参考訳（メタデータ） (2024-05-22T15:52:52Z)
An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文参考訳（メタデータ） (2023-10-19T17:57:16Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文参考訳（メタデータ） (2023-09-13T17:55:11Z)
Temporal Difference Learning for Model Predictive Control [29.217382374051347]
データ駆動モデル予測制御は、モデルフリーメソッドよりも2つの大きな利点がある。 TD-MPCは、状態と画像に基づく連続制御タスクの事前処理よりも、より優れたサンプリング効率と性能を実現する。
論文参考訳（メタデータ） (2022-03-09T18:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。