論文の概要: GAPO: Learning Preferential Prompt through Generative Adversarial Policy Optimization

• arxiv url: http://arxiv.org/abs/2503.20194v1
• Date: Wed, 26 Mar 2025 03:37:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 19:18:47.03626
• Title: GAPO: Learning Preferential Prompt through Generative Adversarial Policy Optimization
• Title（参考訳）: GAPO:ジェネレーティブ・ディバイサル・ポリシー・最適化による優先課題の学習
• Authors: Zhouhong Gu, Xingzhou Chen, Xiaoran Shi, Tao Wang, Suhang Zheng, Tianyu Li, Hongwei Feng, Yanghua Xiao,
• Abstract要約: 本稿では,GAPO(Generative Adversarial Policy Optimization)を紹介する。GAPOは,GANベースのトレーニングダイナミクスとエンコーダのみの報酬モデルを組み合わせた新しいフレームワークである。 大規模な実験では、GAPOは複数のベンチマークで優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 28.85371253733727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models have highlighted the critical need for precise control over model outputs through predefined constraints. While existing methods attempt to achieve this through either direct instruction-response synthesis or preferential response optimization, they often struggle with constraint understanding and adaptation. This limitation becomes particularly evident when handling fine-grained constraints, leading to either hallucination or brittle performance. We introduce Generative Adversarial Policy Optimization (GAPO), a novel framework that combines GAN-based training dynamics with an encoder-only reward model to progressively learn and adapt to increasingly complex constraints. GAPO leverages adversarial training to automatically generate training samples of varying difficulty while utilizing the encoder-only architecture to better capture prompt-response relationships. Extensive experiments demonstrate GAPO's superior performance across multiple benchmarks, particularly in scenarios requiring fine-grained constraint handling, where it significantly outperforms existing methods like PPO, DPO, and KTO. Our results suggest that GAPO's unique approach to preferential prompt learning offers a more robust and effective solution for controlling LLM outputs. Code is avaliable in https://github.com/MikeGu721/GAPO.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は、事前定義された制約を通じてモデル出力を正確に制御する重要な必要性を強調している。 既存の手法は直接命令応答合成または優先応答最適化によってこれを達成しようとするが、それらはしばしば制約理解と適応に苦慮する。 この制限は、きめ細かい制約を扱う際に特に顕著になり、幻覚または脆いパフォーマンスをもたらす。 我々は,GAPO(Generative Adversarial Policy Optimization)という,GAPO(Generative Adversarial Policy Optimization)という,GAPO(Generative Adversarial Policy Optimization)という,GAPO(Generative Adversarial Policy Optimization)という,GANベースのトレーニングダイナミクスとエンコーダのみの報酬モデルを組み合わせた新たなフレームワークを紹介した。 GAPOは、敵のトレーニングを活用して、エンコーダのみのアーキテクチャを活用して、様々な困難のあるトレーニングサンプルを自動的に生成し、迅速な応答関係をよりよく捉える。 大規模な実験では、GAPOが複数のベンチマークで優れたパフォーマンスを示しており、特にPPO、DPO、KTOといった既存の手法を著しく上回る、きめ細かな制約処理を必要とするシナリオにおいてである。 この結果から,GAPOの優先的学習に対するユニークなアプローチは,LLM出力を制御する上で,より堅牢で効果的なソリューションをもたらすことが示唆された。 コードはhttps://github.com/MikeGu721/GAPOで検証できる。

関連論文リスト

• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation [60.33386541343322]
  本稿では,Hardness-Aware とNoNoRec (HaNoRec) を併用したマルチモーダル大規模言語モデルフレームワークを提案する。 具体的には、HaNoRecは、各トレーニングサンプルの予測硬度とポリシーモデルのリアルタイム応答性の両方に基づいて、最適化重量を動的に調整する。
  論文  参考訳（メタデータ） (2025-11-24T04:10:46Z)
• Training-Free Group Relative Policy Optimization [34.73950078782136]
  我々は,Large Language Model (LLM) エージェントが,経験的知識を先行するトークンとして学習することで,出力分布に類似した効果を得られることを論じる。 我々は,LLMエージェントの性能をパラメータ更新なしで向上する,費用対効果の高いソリューションであるTraining-Free Group Relative Policy Optimization (Training-Free GRPO)を提案する。 数学的推論とWeb検索タスクの実験により、DeepSeek-V3.1-Terminusに適用されたトレーニングフリーGRPOは、ドメイン外のパフォーマンスを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-10-09T13:18:17Z)
• SPOGW: a Score-based Preference Optimization method via Group-Wise comparison for workflows [23.667139832926225]
  大規模言語モデル(LLM)は様々な分野、しばしばエージェントの使用を通じて、課題に対処する上で重要な能力を発揮している。 近年の研究では、建設に必要な人的介入を最小限に抑えることを目的としており、エージェントを最適化するための自動化技術の進歩につながっている。 SPOGWと呼ばれる新しいスコアベースの選好手法を導入し、グループワイド比較により、基数報酬信号を直接操作する。
  論文  参考訳（メタデータ） (2025-10-05T08:26:29Z)
• ACPO: Adaptive Curriculum Policy Optimization for Aligning Vision-Language Models in Complex Reasoning [17.928214942495412]
  ACPOは、安定的で、準政治的な探索段階から、効率的で、非政治的な搾取段階へ、原則的な移行を編成する動的カリキュラムを採用している。 我々は、MathVista、LogicVista、MMMU-Proなど、挑戦的なマルチモーダル推論ベンチマークのスイートで広範な実験を行う。 その結果,ACPOはDAPOやPAPOなどの強いベースラインを一貫して上回り,最先端性能,収束の促進,訓練安定性の向上を実現している。
  論文  参考訳（メタデータ） (2025-10-01T09:11:27Z)
• COPO: Consistency-Aware Policy Optimization [17.328515578426227]
  強化学習は、複雑な問題解決タスクにおける大規模言語モデル(LLM)の推論能力を大幅に向上させた。 近年、DeepSeek R1の導入により、ルールベースの報酬をコンピューティングの利点関数の低コストな代替手段として活用し、ポリシー最適化を導くことへの関心が高まっている。 本稿では,結果整合性に基づくグローバルな報酬構造を導入する,整合性を考慮したポリシー最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-06T07:05:18Z)
• Semantic-Preserving Adversarial Attacks on LLMs: An Adaptive Greedy Binary Search Approach [15.658579092368981]
  大規模言語モデル(LLM)は、ユーザ入力を洗練させ、応答精度を向上させるために、グラフィカルユーザインタフェース(GUI)における自動プロンプト工学に依存している。 本稿では, セマンティック安定性を維持しつつ, 共通的なプロンプト最適化機構をシミュレートするアダプティブ・グレディ・バイナリ・サーチ(AGBS)手法を提案する。
  論文  参考訳（メタデータ） (2025-05-26T15:41:06Z)
• VerIPO: Cultivating Long Reasoning in Video-LLMs via Verifier-Gudied Iterative Policy Optimization [59.39976343879587]
  VerIPOは、深く長期的な推論チェーンを生成するためのビデオLLMの能力を徐々に改善することを目指している。 トレーニングループはGRPOの拡張検索とDPOのターゲット最適化の恩恵を受けている。 我々の訓練されたモデルは、大規模命令調整ビデオ-LLMの直接推定を超えている。
  論文  参考訳（メタデータ） (2025-05-25T06:41:28Z)
• GPG: A Simple and Strong Reinforcement Learning Baseline for Model Reasoning [17.544255491384046]
  グループポリシーグラディエント(GPG)と呼ばれる最小主義的RLアプローチを提案する。 従来の手法とは異なり、GAGは元のRL目標を直接最適化するので、損失関数のサロゲートが不要になる。 本手法は補助的な技術や調整に頼ることなく優れた性能を実現する。
  論文  参考訳（メタデータ） (2025-04-03T12:53:41Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• Prompt-OT: An Optimal Transport Regularization Paradigm for Knowledge Preservation in Vision-Language Model Adaptation [5.296260279593993]
  CLIPのような視覚言語モデル(VLM)は、強力なパフォーマンスを示すが、下流タスクに適応する際には苦労する。 本稿では,特徴分布の構造的整合性を保つことにより,忘れを軽減できる最適トランスポート(OT)誘導型プロンプト学習フレームワークを提案する。 提案手法は,視覚とテキスト表現の両面に制約を課し,全体的な特徴の整合性を確保する。
  論文  参考訳（メタデータ） (2025-03-11T21:38:34Z)
• Towards more Contextual Agents: An extractor-Generator Optimization Framework [0.0]
  LLM(Large Language Model)ベースのエージェントは、幅広い汎用アプリケーションにわたる複雑なタスクの解決に顕著な成功を収めている。 しかしながら、それらのパフォーマンスは、専門産業や研究領域のようなコンテキスト固有のシナリオで劣化することが多い。 この課題に対処するため,本研究では,LLMエージェントの文脈適応性を高めるための体系的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-18T15:07:06Z)
• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。