論文の概要: Understanding When Reflective Prompt and Skill Optimization Helps on Locally Served Reasoning Models: A Two-Model Study of GEPA and SkillOpt

• arxiv url: http://arxiv.org/abs/2610.26020v1
• Date: Mon, 19 Oct 2026 08:45:07 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:14:08.554729
• Title: Understanding When Reflective Prompt and Skill Optimization Helps on Locally Served Reasoning Models: A Two-Model Study of GEPA and SkillOpt
• Title（参考訳）: リフレクティブ・プロンプトとスキル・オプティマイゼーションが局所型推論モデルに役立つときの理解:GEPAとスキル・オプティマイゼーションの2モデル研究
• Abstract要約: GEPAやSkillOptといったリフレクティブテキストスペースは、フロンティアモデルや中規模モデルで大きく伸びていると報告している。 2つの推論ネイティブなターゲットサービス構成でレプリケーションをテストします。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Reflective text-space optimizers such as GEPA and SkillOpt have reported large gains on frontier and mid-size models. We test replication across two reasoning-native target-serving configurations: DeepSeek V4 Flash through DwarfStar and Qwen3.8-27B through LM Studio. For each target, we evaluate the same held-out tasks and four conditions - minimal baseline, GEPA prompt, SkillOpt skill, and manually engineered prompt - on HotpotQA (n=500 per condition) and MATH-500 (n=250). In the primary Qwen v2 rerun under the same frozen protocol, GEPA selects the HotpotQA seed and exactly reproduces baseline behavior, whereas SkillOpt's validation gain reverses into held-out degradation. On MATH-500, GEPA raises exact match from 0.828 to 0.904 while reducing latency but increasing token consumption, so lower response time does not imply lower token cost. DeepSeek likewise shows its strongest GEPA effect on MATH-500 (0.852 to 0.908). Across both targets, GEPA's strongest gains occur on MATH-500, while neither optimizer improves the HotpotQA baseline. Optimization is therefore task- and method-dependent, and validation gains may reverse on held-out evaluation. An earlier Qwen run is retained as serving-sensitivity evidence. These results suggest that textual headroom for a model-task pair and the observed effect of a text-space optimizer are more informative when decomposed into content/reasoning, answer-realization/evaluator alignment, and serving-completion/reliability. The cross-benchmark pattern further suggests that optimization may benefit from low-ambiguity, actionable evaluation signals.
• Abstract（参考訳）: GEPAやSkillOptのようなリフレクティブテキストスペースオプティマイザは、フロンティアモデルとミドルサイズモデルに大きな進歩を報告している。 We test replication across two reasoning-native target-serving configuration: DeepSeek V4 Flash through DwarfStar and Qwen3.8-27B through LM Studio。 各目標に対して,HotpotQA(n=500),MATH-500(n=250)の4つの条件(最小ベースライン,EPAプロンプト,SkillOptスキル,手作業によるプロンプト)を評価した。 プライマリQwen v2は同じフリーズプロトコルで実行され、GEPAはHotpotQAシードを選択し、ベースラインの振る舞いを正確に再現する。 MATH-500 では GEPA が 0.828 から 0.904 に正確にマッチするが、遅延は低減するがトークン消費は増加するため、応答時間の短縮はトークンコストを低下させるものではない。 DeepSeekも同様に、MATH-500(0.852から0.908)に強いEPA効果を示す。 両方の目標に対して、GEPAの最大の利益はMATH-500で発生し、オプティマイザはいずれもHotpotQAベースラインを改善していない。 したがって、最適化はタスク依存とメソッド依存であり、バリデーションのゲインはホールドアウト評価で逆になる可能性がある。 初期のQwenランはサーブセンシティブな証拠として保存されている。 以上の結果から, テキスト空間最適化器とモデルタスクペアのテキストヘッドルームは, コンテント/推論, 応答実現/評価器アライメント, サーブ・コンプリート/信頼性に分解されると, より有益であることが示唆された。 クロスベンチマークパターンはさらに、最適化は低曖昧で実用的な評価信号の恩恵を受ける可能性があることを示唆している。

関連論文リスト

• FLARE: Few-shot Learning-based Adaptive Reflective Engine [0.9932714016119233]
  本稿では,FLARE(Few-shot Learning-based Adaptive Reflective Engine)を紹介する。 我々は,GPT-5シリーズのモデルを用いて,多種多様なベンチマークを対象とする手法の評価を行った。 その結果、FLAREはGEPAより一貫して優れており、各タスクモデルペアで勝っていることがわかった。
  論文  参考訳（メタデータ） (2026-08-03T22:13:12Z)
• GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
  本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。 5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。 解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
  論文  参考訳（メタデータ） (2026-08-03T17:55:24Z)
• Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation [0.0]
  自然言語からインフラストラクチャ・アズ・コード(IaC)を生成するには、プロバイダのスキーマ、依存関係の計画、組織的なポリシの制約を満たす必要がある。 Rego v1ポリシを備えた186タスクのAWS/TerraformベンチマークであるIaC-Eval v2で評価されたTerraform生成のための7つのエージェント戦略に関する検証初の実験的研究を示す。
  論文  参考訳（メタデータ） (2026-05-29T12:43:27Z)
• Reflection in the Dark: Exposing and Escaping the Black Box in Reflective Prompt Optimization [1.8420836938108678]
  本稿では,仮説生成を即時書き直しから切り離すマルチエージェントAPOフレームワークであるVISTAを提案する。 ランダム再起動とエプシロン-グレディサンプリングを組み合わせた2層探索-露光機構は、さらに局所最適を逃れる。
  論文  参考訳（メタデータ） (2026-03-19T01:14:36Z)
• REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
  回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。 我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-03-17T21:19:08Z)
• In-Context Environments Induce Evaluation-Awareness in Language Models [0.12691047660244334]
  人間は脅威の下でより自覚的になるが、タスクに吸収されると自意識を失うことがある。 我々は,テキスト内プロンプトを最適化可能な環境として扱うブラックボックス逆最適化フレームワークを提案する。 我々は、逆最適化されたプロンプトが、これまで理解されていたよりもはるかに高い信頼性の脅威をもたらすことを示した。
  論文  参考訳（メタデータ） (2026-03-04T08:22:02Z)
• TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs [57.217593337454026]
  TokenSqueezeは、パフォーマンスを保ち、自己生成データにのみ依存しながら推論パスを凝縮する新しいLong2Shortメソッドである。 TokenSqueeze は MATH500 ベンチマークの精度を維持しながらトークンの使用量を削減できることを示す。
  論文  参考訳（メタデータ） (2025-11-17T10:38:56Z)
• Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination [67.67725938962798]
  大規模なWebスケールコーパスの事前トレーニングは、広く使用されているベンチマークでデータ汚染の影響を受けやすいQwen2.5が残る。 我々はRandomCalculationと呼ばれる任意の長さと難易度を持つ完全クリーンな算術問題を生成するジェネレータを導入する。 精度の高い報酬信号のみがベースモデルの性能境界を超える安定した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-07-14T17:55:15Z)
• PMPO: Probabilistic Metric Prompt Optimization for Small and Large Language Models [1.6816171955882597]
  PMPOはマスキングに基づく分析を通じて低品質のプロンプトセグメントを特定し、反復的にそれらを書き換えて改良された変種を提案する。 単一のフォワードパスにおける損失を最小限に抑え、出力のサンプリングを排除し、選択のための人または判断に基づくスコアをなくし、変種の中から選択する。 PMPOは、BBHで最高平均精度を達成し、GSM8KとAQUA RATに強く依存し、AlpacaEval 2.0の勝利率を19ポイント以上上げる。
  論文  参考訳（メタデータ） (2025-05-22T06:59:10Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。