論文の概要: Verifiable Self-Evolution for Open-Ended Dialogue Skills via Future-Feedback Prediction
- arxiv url: http://arxiv.org/abs/2607.18973v1
- Date: Tue, 21 Jul 2026 11:06:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.399185
- Title: Verifiable Self-Evolution for Open-Ended Dialogue Skills via Future-Feedback Prediction
- Title（参考訳）: 未来フィードバック予測によるオープンエンディング対話スキルの検証可能な自己進化
- Abstract要約: Future-feedbackスキルの進化は、現在の回答を規定する自己進化から、観察された回答が肯定的または否定的な後続のユーザー信号につながるかどうかを予測することへの転換である。
プロプライエタリなプライバシ保護型セールスアシストデータセットでは、注意深い品質フィルタリングと、バランスのとれた解決/未解決の分割によって、75%以上の予測精度が得られます。
- 参考スコア（独自算出の注目度）: 1.5383510899449275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Textual skills provide a lightweight way to improve frozen language-model agents, but their self-evolution normally requires a stable validation signal. Such signals are natural in mathematics or code, where an answer can be checked after it changes, yet are problematic in open-ended dialogue: changing the assistant response also changes the user's next reaction, so a logged reaction cannot directly evaluate a counterfactual response. We propose future-feedback skill evolution, which first redirects self-evolution from prescribing the current answer to predicting whether the observed answer will lead to a positive or negative subsequent user signal. This prediction task is verifiable on fixed logged tuples and therefore supports validation-gated textual optimization. The evolved feedback skill captures interpretable criteria for response quality and can subsequently serve as a diagnostic and optimization target for answer skills. On a proprietary, privacy-preserving sales-assistant dataset, careful quality filtering and a balanced resolved/unresolved split yield more than 75% prediction accuracy. Beyond this result, the central contribution is a formulation that converts otherwise moving conversational feedback into a fixed offline learning target, enabling reproducible skill evolution without placing every candidate skill in live traffic. We discuss the boundary between observational verification and counterfactual validity, and position the method as an offline optimization stage rather than a replacement for final human or online evaluation.
- Abstract（参考訳）: テキストスキルは、凍結した言語モデルエージェントを改善するための軽量な方法を提供するが、その自己進化は通常、安定した検証信号を必要とする。
このような信号は、数学やコードでは自然であり、応答が変化した後でもチェックできるが、オープンエンドの対話では問題となる: アシスタント応答の変更はユーザの次の反応も変更するので、ログされた反応は反事実反応を直接評価することはできない。
先送りスキルの進化は、まず現在の回答を処方することから、観察された回答が肯定的か否定的な後続のユーザー信号につながるかを予測することへ向けて、自己進化を振り返る。
この予測タスクは、固定ログ付きタプル上で検証可能であり、したがってバリデーション付きテキスト最適化をサポートする。
進化したフィードバックスキルは、応答品質の解釈可能な基準を捉え、その後、回答スキルの診断と最適化のターゲットとして機能する。
プロプライエタリなプライバシ保護型セールスアシストデータセットでは、注意深い品質フィルタリングと、バランスのとれた解決/未解決の分割によって、75%以上の予測精度が得られます。
この結果に加えて、中心的なコントリビューションは、移動中の会話フィードバックを固定されたオフライン学習ターゲットに変換し、実際のトラフィックにすべてのスキルを配置することなく再現可能なスキル進化を可能にする定式化である。
本研究は,観察的検証と対実的妥当性の境界を議論し,本手法を最終評価やオンライン評価の代替ではなく,オフライン最適化段階として位置づける。
関連論文リスト
- AERA: Adaptive Evidence Residual Allocation for Efficient Test-Time Reasoning [22.964476507912327]
テストタイムスケーリングは、追加の候補ソリューションを生成することによって言語モデル推論を改善するが、すべての問題に同じ推論予算を割り当てることは、計算的に無駄である。
チェックポイントレベルの正しさは非単調に進化し、解答が崩壊する前に観測可能な証拠が強化され、回復前に弱まる可能性があることを示す。
本稿では,チェックポイント・オブザーバブル・エビデンスから,さらなる計算がより良い解が得られるかどうかを学習するシーケンシャル・コントローラであるアダプティブ・エビデンス・レシデンス・アロケーション(AERA)を紹介する。
論文 参考訳（メタデータ） (2026-08-28T06:21:07Z) - CAFE: Self-Improving Search Agents Need Co-Evolving Feedback [64.5257526832476]
アウトカム管理された検索エージェントは、いつ、どのように証拠を回収するかを学習するが、端末の報酬は中間エラーのローカライズも、それらのエラーが複雑になる前に継続する軌道のリダイレクトもしない。
学習した軌道内での介入として修正的フィードバックを扱うことは、エージェントがいつフィードバックを要求し使用するかを決めなければならないのに対し、批評家は、エージェントが改善するにつれて障害パターンが変化する結果構築されたロールアウトから有用な修正を推測しなければならない。
論文 参考訳（メタデータ） (2026-08-25T16:39:00Z) - SkillEvo: Self-Renewing Evolution Gradients from Multi-Turn Interaction Feedback [10.248606572826729]
エージェントスキルは、手書きまたは単一のLLM世代パスで作成される。
最近の研究は、このループを閉じているが、シングルターンの質問応答評価からフィードバックを得ている。
我々はSkillEvoを紹介し、信頼できるフィードバックが勾配を生成し、制御可能なガバナンスがその方向性を制約する。
論文 参考訳（メタデータ） (2026-08-13T11:49:02Z) - Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds [43.5891705224868]
自己進化型スキルシステムは、基礎となるモデルを変更することなく、実行フィードバックを永続的なスキル更新に変換することでエージェントを改善することを約束する。
5つのベンチマークと3つのモデルで制御された評価フレームワークを提案する。
全体として、永続的なスキルの自己進化は、モデル依存リターンとベンチマーク依存リターンを備えたスパース、バリデーションフィルタリング検索として理解されている。
論文 参考訳（メタデータ） (2026-07-31T04:02:51Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - In-Context Black-Box Optimization with Unreliable Feedback [20.948688720498644]
フィードバックインフォームド・インコンテクスト・ブラックボックス最適化(FICBO)について検討する。
本稿では,フィードバックソースが真の目的に対してアクセス,関連性,歪みにどう影響するかをモデル化した構造化されたフィードバックを導入し,フィードバックトランスフォーマーの事前訓練を行う。
合成および実世界のタスクでは、FICBOは情報フィードバックを効果的に活用し、弱いまたは誤解を招くソースに頑健に留まる。
論文 参考訳（メタデータ） (2026-05-07T13:03:19Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳（メタデータ） (2026-04-03T15:19:46Z) - From Transcripts to AI Agents: Knowledge Extraction, RAG Integration, and Robust Evaluation of Conversational AI Assistants [0.0]
顧客向け産業向けの信頼できる会話AIアシスタントの構築は、ノイズの多い会話データ、断片化された知識、正確なヒューマンハンドオフの必要性により、依然として困難である。
本稿では,履歴書から直接対話型AIアシスタントを構築し,評価するためのエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-26T07:44:47Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - Variability Need Not Imply Error: The Case of Adequate but Semantically Distinct Responses [7.581259361859477]
不確実性定量化ツールは、モデルが不確実である場合の応答を拒否するために使用できます。
我々は、モデルがAdequate Responses (PROBAR)に割り当てる確率を推定する。
ProBARはアンビグニティ/オープンエンディエントネスの異なるプロンプトでセマンティックエントロピーを上回ります。
論文 参考訳（メタデータ） (2024-12-20T09:02:26Z) - Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。
粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。
きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
論文 参考訳（メタデータ） (2024-06-24T17:19:34Z) - Towards Reliable and Factual Response Generation: Detecting Unanswerable
Questions in Information-Seeking Conversations [16.99952884041096]
生成的AIモデルは、そのようなシステムに対するユーザの信頼を損なう可能性のある幻覚の課題に直面します。
本稿では,まずコーパス内の関連するパスを識別し,最後にシステム応答にまとめる2段階のプロセスとして,会話情報探索の問題にアプローチする。
具体的には,文レベル分類器を用いて解答の有無を判定し,これらの予測を文レベルに集約し,最後に最終解答可能性推定値に到達する。
論文 参考訳（メタデータ） (2024-01-21T10:15:36Z) - A Systematic Evaluation of Response Selection for Open Domain Dialogue [36.88551817451512]
同じダイアログで生成された複数の応答生成元からの応答を、適切な(正)と不適切な(負)として手動でアノテートするデータセットをキュレートした。
反応選択のための最先端手法の体系的評価を行い、複数の正の候補を用いたり、手動で検証された強陰性候補を用いたりすることで、それぞれRecall@1スコアの3%と13%の増加など、相手のトレーニングデータを用いた場合と比較して、大幅な性能向上が期待できることを示す。
論文 参考訳（メタデータ） (2022-08-08T19:33:30Z) - A Controllable Model of Grounded Response Generation [122.7121624884747]
現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。
我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。
このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2020-05-01T21:22:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。