論文の概要: StraTune: Adaptive Selection of Revision Operators for Self-Evolving LLM Skills
- arxiv url: http://arxiv.org/abs/2609.32886v1
- Date: Sat, 26 Sep 2026 19:13:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 12:14:07.770697
- Title: StraTune: Adaptive Selection of Revision Operators for Self-Evolving LLM Skills
- Title（参考訳）: Stratune: 自己進化型LLMスキルのためのリビジョンオペレータの適応的選択
- Abstract要約: StraTune では、凍結した LLM が最適化状態から各ラウンドでリビジョン演算子を選択することができる。
4つのベンチマークと2つの設定で、ほとんどの設定で5つのベースラインを上回ります。
- 参考スコア（独自算出の注目度）: 7.014237727349895
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) can learn reusable textual skills from execution feedback without updating their parameters, but effectively deciding how to revise these skills remains a key challenge. Existing methods typically rely on a fixed revision operator, a search strategy and the revision forms applied under it. However, we observe that no single revision operator consistently performs best across tasks, and repeatedly applying an unsuitable operator can limit further improvement. We propose StraTune (strategy-guided skill tuning), which lets a frozen optimizer LLM choose the revision operator at every round from the optimization state, which is defined as the current execution feedback together with the recorded outcomes of earlier strategies and forms. Candidate skills from every revision operator pass one candidate evaluation, which screens for gains and regressions on a small sample set and validates them on a larger one, and every outcome is written back to the optimization state for later choices. Across four benchmarks and two LLM settings, StraTune outperforms all five baselines in most settings. Ablations attribute the gains to the adaptive choice of the revision operator, since fixed, random, scheduled, and bandit strategy choices all score lower, and skills learned with a small target LLM also improve a stronger one. Code and learned skills are available at https://github.com/seai-lab/StraTune.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、パラメータを更新することなく、実行フィードバックから再利用可能なテキストスキルを学ぶことができるが、これらのスキルを効果的に修正する方法は、依然として重要な課題である。
既存の方法は通常、固定されたリビジョン演算子、検索戦略、それに適用されるリビジョン形式に依存している。
しかし、1つのリビジョン演算子がタスク間で常に最善を尽くすことはなく、不適切な演算子を繰り返し適用することは、さらなる改善を制限することができる。
最適化状態から各ラウンド毎のリビジョン演算子を選択することができるストラチューン (Strategy-Guided skill tuning) を提案する。
各リビジョンオペレータからの候補スキルは、1つの候補評価をパスし、小さなサンプルセットでゲインと回帰をスクリーニングし、より大きなセットで検証し、すべての結果が後の選択のために最適化状態に書き戻される。
4つのベンチマークと2つのLDM設定で、ほとんどの設定で5つのベースラインを上回ります。
アブレーションは、固定、ランダム、スケジュール、およびバンディット戦略の選択がすべて低い点から、リビジョン演算子の適応的な選択によるゲインと、小さなターゲットLLMで学んだスキルが、より強い点を改善しているためである。
コードと学習スキルはhttps://github.com/seai-lab/StraTune.comで入手できる。
関連論文リスト
- Reinforcement learning to choose optimizers [0.0]
『強化学習選択』では、逐次的な意思決定問題としてアルゴリズムの選択が採用されている。
ポートフォリオにはグラデーションベースとデリバティブフリーが含まれており、各スイッチは現在のベストソリューションと代表的なステップサイズをパスする。
目に見えない問題では、学習されたポリシーは最小の予算を除いてすべてのポートフォリオを上回ります。
論文 参考訳（メタデータ） (2026-09-01T19:35:31Z) - Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。
教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。
我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
論文 参考訳（メタデータ） (2026-08-30T16:35:22Z) - Many Optimizers But Only One Training Path: Repeated Resampling for Adaptive Optimizer Selection [0.0]
繰り返しリサンプリング(ROR)は、ある進化中の実行中に検索する。
1エポックRORは24～35%のアグリゲーショントレーニングを使用して、最高の固定変種を徹底的に識別する。
論文 参考訳（メタデータ） (2026-08-19T11:08:42Z) - Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback [52.78692582507693]
専門家による自然言語スキルは、ツール使用エージェントを改善することができるが、エージェントによるスキルは、スキルを使用しないよりも8-11ポイント悪い。
本研究では,中間的スキルから実行経験を訓練状態に整理する方法について検討する。
論文 参考訳（メタデータ） (2026-08-18T09:52:48Z) - LLM-Guided Heuristic Design from Simulation Traces: A Case Study in Dynamic Production and AGV Scheduling [10.289256706393084]
シミュレーションベースの最適化(SBO)は、動的に実行可能なポリシーを評価する。
ほとんどのメソッドは、シミュレータをブラックボックスとして扱う。なぜ失敗したのか、どのポリシーロジックを変更するべきかを明らかにすることなく、ランキング候補を集計する。
LLM誘導設計フレームワークについて,繰り返しシミュレーションによる選択と事象レベルのトレースを用いて診断を行う。
論文 参考訳（メタデータ） (2026-08-10T09:20:56Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - Learning When to Optimize: Verified Optimization Skills from Expert GPU-Kernel Lineages [4.0702755941542925]
LLMベースのエージェントはGPUカーネルの生成にますます利用されている。
彼らはしばしば、最適化がいつ正しいかを知らずに、どの最適化を試すべきかを知っています。
KLineageを紹介します。これは、専門家のカーネルから欠落している"When"の知識を学習します。
論文 参考訳（メタデータ） (2026-05-27T09:32:16Z) - Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。
この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。
そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
論文 参考訳（メタデータ） (2024-11-07T10:31:31Z) - LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。
本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
論文 参考訳（メタデータ） (2024-05-30T06:24:14Z) - Value Augmented Sampling for Language Model Alignment and Personalization [39.070662999014836]
報酬最適化のための新しいフレームワーク、価値拡張サンプリング(VAS)を提案する。
VASは、ポリシーと値関数を併用することなく、最適報酬最大化ポリシーを解く。
我々のアルゴリズムは、いくつかの報酬を作曲し、展開期間中に各報酬の幅を制御できる新しい能力を解き放ちます。
論文 参考訳（メタデータ） (2024-05-10T17:59:04Z) - SCREWS: A Modular Framework for Reasoning with Revisions [58.698199183147935]
我々は、リビジョンを伴う推論のためのモジュラーフレームワークであるSCREWSを紹介する。
我々は、SCREWSが、共通のフレームワークの下で、いくつかの以前のアプローチを統合することを示す。
我々は,多種多様な推論タスクに基づいて,最先端のLCMを用いてフレームワークの評価を行った。
論文 参考訳（メタデータ） (2023-09-20T15:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。