論文の概要: Smooth Gate Functions for Soft Advantage Policy Optimization

• arxiv url: http://arxiv.org/abs/2602.19345v1
• Date: Sun, 22 Feb 2026 21:19:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.598988
• Title: Smooth Gate Functions for Soft Advantage Policy Optimization
• Title（参考訳）: ソフトアドバンテージポリシー最適化のための平滑ゲート関数
• Authors: Egor Denisov, Svetlana Glazyrina, Maksim Kryzhanovskiy, Roman Ischenko,
• Abstract要約: グループ相対政策最適化は、大規模言語モデルの訓練を大幅に進歩させた。 硬い切り傷が原因で不安定性に悩まされる。 本研究では,異なるゲート関数がトレーニング安定性と最終モデル性能に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Group Relative Policy Optimization (GRPO) has significantly advanced the training of large language models and enhanced their reasoning capabilities, while it remains susceptible to instability due to the use of hard clipping. Soft Adaptive Policy Optimization (SAPO) addresses this limitation by replacing clipping with a smooth sigmoid-based gate function, which leads to more stable updates. We have decided to push this theory further and investigate the impact of different gate functions on both training stability and final model performance. We formalize the key properties that admissible gates should satisfy and identify several families of such functions for empirical evaluation. This paper presents an analysis of our findings based on experiments conducted with the Qwen2.5-7B-Instruct model on mathematical reasoning tasks. These results provide practical guidance for designing smoother and more robust policy optimization objectives for large language model training.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)は、大きな言語モデルの訓練を著しく進歩させ、その推論能力を強化した。 ソフトアダプティブポリシー最適化(SAPO)は、クリッピングをスムーズなシグモノイドベースのゲート関数に置き換えることで、より安定した更新を実現することで、この制限に対処する。 我々は,この理論をさらに推し進め,異なるゲート関数がトレーニング安定性と最終モデル性能に与える影響について検討することにした。 我々は、許容ゲートが満足すべき鍵特性を定式化し、経験的評価のためにそのような機能のいくつかのファミリーを識別する。 本稿では,Qwen2.5-7B-Instructモデルによる数学的推論に関する実験から得られた知見を解析する。 これらの結果は、よりスムーズで堅牢な政策最適化目標を設計するための実用的なガイダンスを提供する。

関連論文リスト

• PILOT: Planning via Internalized Latent Optimization Trajectories for Large Language Models [51.43746425777865]
  大規模言語モデル(LLM)は、しばしばグローバル戦略を定式化する能力に欠けており、長い水平タスクにおけるエラーの伝播につながる。 PILOTは,大規模モデルの戦略的監視を本質的な潜伏誘導に内部化するためのフレームワークである。
  論文  参考訳（メタデータ） (2026-01-07T12:38:56Z)
• AWPO: Enhancing Tool-Use of Large Language Models through Explicit Integration of Reasoning Rewards [60.2998874976509]
  我々は,ツール利用能力を高めるために,明示的な推論報酬を統合するために,有利なポリシー最適化(AWPO)を提案する。 AWPOは分散認識ゲーティングと困難認識重み付けを導入し、推論信号から利点を適応的に変調する。 実験により、AWPOは標準的なツール使用ベンチマークで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2025-12-22T08:07:00Z)
• Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
  LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。 本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。 我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
  論文  参考訳（メタデータ） (2025-11-11T21:50:44Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• ACPO: Adaptive Curriculum Policy Optimization for Aligning Vision-Language Models in Complex Reasoning [17.928214942495412]
  ACPOは、安定的で、準政治的な探索段階から、効率的で、非政治的な搾取段階へ、原則的な移行を編成する動的カリキュラムを採用している。 我々は、MathVista、LogicVista、MMMU-Proなど、挑戦的なマルチモーダル推論ベンチマークのスイートで広範な実験を行う。 その結果,ACPOはDAPOやPAPOなどの強いベースラインを一貫して上回り,最先端性能,収束の促進,訓練安定性の向上を実現している。
  論文  参考訳（メタデータ） (2025-10-01T09:11:27Z)
• TCPO: Thought-Centric Preference Optimization for Effective Embodied Decision-making [75.29820290660065]
  本稿では,効果的な具体的意思決定のための思考中心推論最適化(TCPO)を提案する。 モデルの中間的推論プロセスの整合性を強調し、モデル劣化の問題を緩和する。 ALFWorld環境での実験では、平均成功率は26.67%であり、RL4VLMよりも6%向上している。
  論文  参考訳（メタデータ） (2025-09-10T11:16:21Z)
• Smart Exploration in Reinforcement Learning using Bounded Uncertainty Models [0.8602553195689513]
  強化学習(Reinforcement Learning, RL)は、不確実な環境で意思決定を行うための強力なフレームワークである。 先行モデル知識を取り入れて探索をガイドし,学習プロセスを加速することで,この問題に対処する。 シミュレーション研究において,BUMEXと呼ばれる探索手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-04-08T12:33:38Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。