Fugu-MT 論文翻訳(概要): Thinking Preference Optimization

論文の概要: Thinking Preference Optimization

arxiv url: http://arxiv.org/abs/2502.13173v1
Date: Mon, 17 Feb 2025 19:56:21 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-20 14:01:10.270931
Title: Thinking Preference Optimization
Title（参考訳）: 優先順位最適化を考える
Authors: Wang Yang, Hongye Jin, Jingfeng Yang, Vipin Chaudhary, Xiaotian Han,
Abstract要約: ThinkPOは、新しい長いCoT応答を必要とせずに、長いCoT推論を強化する、シンプルで効果的なポストSFT手法である。 ThinkPOはさらにSFT-edモデルの推理性能を8.6%改善し、出力長を25.9%改善した。特にThinkPOは、公的に蒸留されたSFTモデルの性能を継続的に向上させ、例えば公式のDeepSeek-R1-Distill-Qwen-7BのMATH500での性能を87.4%から91.2%に向上させた。
参考スコア（独自算出の注目度）: 20.771584574226917
License:
Abstract: Supervised Fine-Tuning (SFT) has been a go-to and effective method for enhancing long chain-of-thought (CoT) reasoning in relatively small LLMs by fine-tuning them with long CoT responses from larger LLMs. To continually improve reasoning abilities, we can either collect new high-quality long CoT reasoning SFT data or repeatedly train on existing SFT datasets. However, acquiring new long CoT SFT data is costly and limited, while repeated training often results in a performance plateau or decline. To further boost the performance with the SFT data, we propose Thinking Preference Optimization (ThinkPO), a simple yet effective post-SFT method that enhances long CoT reasoning without requiring new long CoT responses. Instead, ThinkPO utilizes readily available or easily obtainable short CoT reasoning responses as rejected answers and long CoT responses as chosen answers for the same question. It then applies direct preference optimization to encourage the model to favor longer reasoning outputs. Experiments show that ThinkPO further improves the reasoning performance of SFT-ed models, e.g. it increases math reasoning accuracy of SFT-ed models by 8.6% and output length by 25.9%. Notably, ThinkPO is capable of continually boosting the performance of the publicly distilled SFT model, e.g., increasing the official DeepSeek-R1-Distill-Qwen-7B's performance on MATH500 from 87.4% to 91.2%.
Abstract（参考訳）: SFT(Supervised Fine-Tuning, Supervised Fine-Tuning, Supervised Fine-Tuning, SFT)は, 比較的小さなLLMにおいて, より大型のLLMからの長いCoT応答を微調整することによって, 長いチェーン・オブ・シント(CoT)の推論を強化するためのゴートかつ効果的な方法である。推論能力を継続的に改善するために、SFTデータを推論する新しい高品質のCoTデータを集めるか、既存のSFTデータセットで繰り返しトレーニングすることができる。しかし、新しい長いCoT SFTデータを取得することは費用がかかり、制限される。 SFTデータによるさらなる性能向上を目的として,新しい長いCoT応答を必要とせずに長いCoT推論を向上させるシンプルなSFT後処理法であるThinkPOを提案する。代わりにThinkPOは、簡単に入手または入手可能な短いCoT推論応答を、拒否された回答として、そして同じ質問に対して選択された回答として、長いCoT応答を利用する。次に、モデルがより長い推論出力を好むように、直接選好最適化を適用する。実験の結果、ThinkPOはSFT-edモデルの推論性能をさらに向上し、例えば、SFT-edモデルの数学推論精度を8.6%、出力長を25.9%向上させた。特にThinkPOは、公式に蒸留したSFTモデル(例えばDeepSeek-R1-Distill-Qwen-7B)の性能を87.4%から91.2%に向上させる。

関連論文リスト

LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters! [53.84130385074551]
大推論モデル(LRM)は、長いチェーン・オブ・シント(Long CoT)に従うことによって複雑な推論問題に取り組むまた,Large Language Model (LLM) は,データ効率の教師付き微調整 (SFT) とパラメータ効率の低い低ランク適応 (LoRA) により,Long CoT推論を効果的に学習できることを見出した。たった17kのCoTトレーニングサンプルで、Qwen2.5-32B-Instructモデルは、幅広い数学およびコーディングベンチマークで大幅に改善されている。
論文参考訳（メタデータ） (2025-02-11T08:48:48Z)
When More is Less: Understanding Chain-of-Thought Length in LLMs [53.77747102201451]
CoT推論は大規模言語モデル(LLM)の多段階推論能力を高めるしかし、ほとんどのモデルやタスクでは、CoT長の増加は一貫して推論精度の向上につながりますか? 本稿では, 推論ステップの数が増加するにつれて, 性能は向上するが, 最終的には低下する,というニュアンスな関係を観察する。
論文参考訳（メタデータ） (2025-02-11T05:28:59Z)
Optimizing Language Models for Grammatical Acceptability: A Comparative Study of Fine-Tuning Techniques [0.0]
本研究では,Open Pre-trained Transformer (OPT-125M) の微細チューニング(FT)について,CoLAデータセットを用いて検討した。
論文参考訳（メタデータ） (2025-01-14T05:41:09Z)
Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。本稿では,LCLM検索に適した新しい圧縮手法を提案する。また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
論文参考訳（メタデータ） (2024-12-24T07:30:55Z)
Preference-Oriented Supervised Fine-Tuning: Favoring Target Model Over Aligned Large Language Models [12.500777267361102]
我々は,新しいtextbfpreference-textbforiented 教師付き textbffine-textbftuning アプローチ,すなわち PoFT を導入する。直感的には、SFTを特定の嗜好を与えることによって強化することであり、同じSFTデータ上で、整列 LLM 上でターゲットモデルをテキストフォバリングする。 PoFTは、さまざまなトレーニングデータセットとベースモデルにわたるSFTベースラインに対して、安定的で一貫した改善を実現している。
論文参考訳（メタデータ） (2024-12-17T12:49:14Z)
LongReward: Improving Long-context Large Language Models with AI Feedback [54.3321542678909]
LongRewardは、4次元の長文モデル応答に対して報酬を与える新しい方法である。実験の結果,LongRewardはモデル長文性能を大幅に向上するだけでなく,短い命令に従う能力も向上することがわかった。
論文参考訳（メタデータ） (2024-10-28T17:50:42Z)
ASFT: Aligned Supervised Fine-Tuning through Absolute Likelihood [14.512464277772194]
Aligned Supervised Fine-Tuning (ASFT)は、大規模言語モデルとペアワイズデータセットの整合性を改善する効果的なアプローチである。 ASFTは、DPO損失関数が人間の不適切なデータを生成する確率を減少させる問題を緩和する。大規模な実験により、ASFTは効果的なアライメントアプローチであり、既存の手法より一貫して優れていることが示された。
論文参考訳（メタデータ） (2024-09-14T11:39:13Z)
Intuitive Fine-Tuning: Towards Simplifying Alignment into a Single Process [26.196705232699884]
直感的ファインチューニング(IFT)を導入し,SFTと優先度最適化をひとつのプロセスに統合する。 IFTは、SFTのシーケンシャルなレシピやいくつかの典型的なPreference Optimizationメソッドと相容れないか、それ以上に優れている。説明可能なフロズンレイクゲームは、競争政策を得るためのIFTの有効性をさらに検証する。
論文参考訳（メタデータ） (2024-05-20T08:23:28Z)
Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文参考訳（メタデータ） (2023-10-23T16:37:59Z)
Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
論文参考訳（メタデータ） (2023-08-03T15:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。