論文の概要: PID-Gated Continual Prompt Adaptation Under Noisy Feedback
- arxiv url: http://arxiv.org/abs/2610.16129v1
- Date: Mon, 12 Oct 2026 03:46:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.300522
- Title: PID-Gated Continual Prompt Adaptation Under Noisy Feedback
- Title（参考訳）: 雑音フィードバック下におけるPID-Gated Continual Prompt Adaptation
- Abstract要約: 私たちは、現在のエラーに反応し、時間とともに証拠を蓄積し、編集後に劣化をロールバックする軽量ゲート群を紹介します。
これらのゲートを、単純なベースラインと高度なプロンプトの両方に対してベンチマークします。
- 参考スコア（独自算出の注目度）: 0.8974383702601351
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deploying LLM agents in non-stationary environments requires continually revising their instructions as the task drifts, yet rewriting after every reported mistake can turn noisy feedback into persistent errors. This raises an often-overlooked scheduling question in prompt adaptation: when should feedback trigger a lasting instruction update, and at what editor-call cost? Taking inspiration from proportional-integral-derivative (PID) control, we introduce a family of lightweight gates that react to the current error, accumulate evidence over time, and roll back deterioration after an edit. We benchmark these gates against both simple baselines and advanced prompt optimizers (TextGrad and GEPA), over a diverse suite of drifting tasks, LLM parameter sizes, feedback-noise levels, and random seeds. PID-gated continual prompt adaptation yields a more favorable Pareto trade-off between task performance (high accuracy, low error) and editor-call budget than the baselines considered, pointing to control-theoretic scheduling as a simple, general tool for robust prompt adaptation under unreliable feedback.
- Abstract（参考訳）: 定常的でない環境でLLMエージェントをデプロイするには、タスクのドリフトに伴って命令を継続的に修正する必要があるが、報告されたミスのたびにノイズの多いフィードバックを永続的なエラーに変換することができる。
フィードバックがいつ継続する命令の更新をトリガーし、エディターコールのコストを下げるべきなのか?
比例積分微分(PID)制御からインスピレーションを得て、現在のエラーに反応し、時間とともに証拠を蓄積し、編集後に劣化をロールバックする軽量ゲート群を導入する。
我々はこれらのゲートを、単純なベースラインと高度なプロンプトオプティマイザ(TextGradとGEPA)の両方に対して、様々なドリフトタスク、LLMパラメータサイズ、フィードバックノイズレベル、ランダムシードに対してベンチマークする。
PID-gate連続的なプロンプト適応は、ベースラインよりもタスク性能(高い精度、低いエラー)とエディターコール予算の間のパレートのトレードオフをより有利にし、制御理論的なスケジューリングを信頼できないフィードバックの下で頑健なプロンプト適応のための単純で一般的なツールとして示している。
関連論文リスト
- Learning Robust Personalized Prompts for LLM-Driven Sequential Recommendation [23.712246398626306]
LLM駆動シーケンシャルレコメンデーションは、自然言語プロンプトに条件付き自己回帰生成として次点予測を定式化する。
意味論的に等価なプロンプトにおける小さな単語変更は、かなりの性能変動を引き起こす可能性がある。
本稿では,個別テンプレートから連続的な命令プロンプトを初期化する学習可能なプロンプトフレームワークであるLRPRecを提案する。
論文 参考訳（メタデータ） (2026-10-02T18:34:26Z) - LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。
最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。
この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
論文 参考訳（メタデータ） (2026-07-05T17:05:13Z) - TempAct: Advancing Temporal Plausibility in Autoregressive Video Generation via Planner-Executor RL [72.7712729541565]
自己回帰(AR)ビデオ拡散モデルにより、ビデオチャンクをキャッシュされたビジュアルコンテキストでチャンクで合成することで、低レイテンシなストリーミング生成を可能にする。
1つのグローバルプロンプトは、どのサブイベントを各チャンクで実現すべきかを指定しないが、ステップワイズプロンプトにナビゲート的に切り替えると、しばしば遅延反応、ブレンドステップセマンティクス、プロンプト遷移間のエラー伝播につながる。
我々は、時間分解とステップ条件付き実行を協調的に最適化し、時間分解可能なARビデオ生成のためのプランナー-実行型強化学習フレームワークであるTempActでこれらの課題に対処する。
論文 参考訳（メタデータ） (2026-06-26T12:19:28Z) - Reflective Prompt Tuning through Language Model Function-Calling [16.552558967042312]
Reflective Prompt Tuning (RPT)は、人間のプロンプトエンジニアの反復的なワークフローをシミュレートするフレームワークである。
RPTは、最初のプロンプトを最大12.9ポイント改善し、最先端技術と競争し続け、信頼性の校正を改善している。
解析の結果,RTPはマルチホップや数学的推論に特に有効であることがわかった。
論文 参考訳（メタデータ） (2026-05-20T22:21:29Z) - Referring-Aware Visuomotor Policy Learning for Closed-Loop Manipulation [91.20850436220267]
Referring-Aware Visuomotor Policy(ReV)について紹介する。
ReVは、人間または高レベルの推論プランナーによって提供されるスパース参照ポイントを組み込む。
これは、専門家のデモンストレーションにターゲットの摂動を適用することでのみ訓練される。
論文 参考訳（メタデータ） (2026-04-07T07:41:11Z) - POaaS: Minimal-Edit Prompt Optimization as a Service to Lift Accuracy and Cut Hallucinations on On-Device sLLMs [2.2406645586052925]
小型言語モデル(sLLM)はデバイス上でますますデプロイされ、不完全なユーザプロンプトが事実エラーや幻覚を引き起こす。
我々は、各クエリを軽量なスペシャリストにルーティングする最小限のプロンプト最適化層であるPOを提案する。
論文 参考訳（メタデータ） (2026-03-17T01:05:39Z) - TempoNet: Slack-Quantized Transformer-Guided Reinforcement Scheduler for Adaptive Deadline-Centric Real-Time Dispatchs [8.818252253980985]
TempoNetは、置換不変トランスフォーマーと深いQ近似を組み合わせた強化学習スケジューラである。
ブロックワイズのトップk選択と局所性に敏感なチャンキングを備えた遅延対応スパースアテンションスタックは、順序のないタスクセットに対するグローバルな推論を可能にする。
論文 参考訳（メタデータ） (2026-02-20T09:56:23Z) - Accelerating Multi-modal LLM Gaming Performance via Input Prediction and Mishit Correction [4.323124094061299]
リアルタイムのシーケンシャル制御エージェントは、しばしば推論遅延によってボトルネックとなる。
本稿では,TD-MPC2を用いたモデルベース制御に投機的実行の予測理論を適応させるフレームワークを提案する。
提案手法は,500から282までの計画推測数を削減し,エンドツーエンドのステップ遅延を25%改善し,リターン率をわずか7.1%に抑えた強い制御性能を維持した。
論文 参考訳（メタデータ） (2025-12-19T05:34:52Z) - TS-DP: Reinforcement Speculative Decoding For Temporal Adaptive Diffusion Policy Acceleration [64.32072516882947]
拡散ポリシーは、具体的制御が優れているが、高い推論遅延と計算コストに悩まされている。
時間認識強化に基づく投機的拡散政策(TS-DP)を提案する。
TS-DPは94%以上のドラフトで最大4.17倍高速な推論を実現し、推論周波数は25Hzに達した。
論文 参考訳（メタデータ） (2025-12-13T07:53:14Z) - Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
本研究では任意のプロンプトの反復的近似評価について検討する。
Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。
MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
論文 参考訳（メタデータ） (2025-07-07T03:20:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。