論文の概要: Optimal Stopping of Self-Refining Foundation Models

• arxiv url: http://arxiv.org/abs/2608.10729v1
• Date: Tue, 11 Aug 2026 09:45:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.99774
• Title: Optimal Stopping of Self-Refining Foundation Models
• Title（参考訳）: 自己精製基礎モデルの最適停止
• Abstract要約: ファンデーションモデルは、外部からのフィードバックによって駆動される自己リファインメントプロセスを通じて、アウトプットを改善することができる。 我々は,このプロセスを,コストに対して期待される改善に基づいて改良イテレーションの数が決定される最適停止問題として定式化する。 最適な停止ポリシーを導出し、近似を用いて効率的に計算できることを示す。
• 参考スコア（独自算出の注目度）: 4.2251735875633125
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Foundation models can improve their outputs through a self-refinement process driven by external feedback. In this process, the model is embedded in an iterative loop where it generates outputs, receives feedback from verifiers, and refines its responses through in-context learning. Following a novel approach, we formalize this process as an optimal stopping problem where the number of refinement iterations is decided based on expected improvement relative to cost. We derive optimal stopping policies and show that they can be efficiently computed through stochastic approximation. To evaluate our approach experimentally, we apply it to a coding benchmark for foundation models. The empirical results show that our stopping policies are significantly more cost-efficient than stopping policies proposed in prior work.
• Abstract（参考訳）: ファンデーションモデルは、外部からのフィードバックによって駆動される自己リファインメントプロセスを通じて、アウトプットを改善することができる。 このプロセスでは、モデルは反復ループに埋め込まれ、出力を生成し、検証者からフィードバックを受け取り、コンテキスト内学習を通じて応答を洗練する。 新たなアプローチに従って,本プロセスは,コストに対して期待される改善に基づいて,改良イテレーションの数が決定される最適停止問題として定式化される。 最適停止ポリシーを導出し,確率近似を用いて効率的に計算可能であることを示す。 提案手法を実験的に評価するために,基礎モデルの符号化ベンチマークに適用する。 実証実験の結果, 従来の作業で提案した政策を阻止するよりも, よりコスト効率が高いことが示唆された。

関連論文リスト

• Time-Series-Informed Closed-loop Learning for Sequential Decision Making and Control [0.0]
  伝統的なベイズ最適化アプローチは、学習問題をブラックボックスとして扱い、基礎となる問題の構造に関する貴重な情報や知識を無視している。 本稿では,各実験エピソードの初期イテレーションから中間性能評価を学習手順に組み込んだ時系列インフォームド最適化フレームワークを提案する。 提案手法は, ほぼ半分の資源でベースライン性能を達成し, 最終的なクローズドループ性能においてベースライン性能より優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-03T12:38:53Z)
• PRefLexOR: Preference-based Recursive Language Modeling for Exploratory Optimization of Reasoning and Agentic Thinking [0.0]
  PRefLexORは、好みの最適化と強化学習の概念を組み合わせることで、モデルを自己学習可能にする。 本研究は, 生体材料科学の応用に焦点をあて, 様々なケーススタディでその手法を実証する。
  論文  参考訳（メタデータ） (2024-10-16T08:46:26Z)
• Efficient Learning of POMDPs with Known Observation Model in Average-Reward Setting [56.92178753201331]
  我々は,POMDPパラメータを信念に基づくポリシを用いて収集したサンプルから学習することのできる観測・認識スペクトル(OAS)推定手法を提案する。 提案するOAS-UCRLアルゴリズムに対して,OASプロシージャの整合性を示し,$mathcalO(sqrtT log(T)$の残差保証を証明した。
  論文  参考訳（メタデータ） (2024-10-02T08:46:34Z)
• Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
  反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。 我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。 筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
  論文  参考訳（メタデータ） (2024-09-17T14:05:58Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• Bayesian regularization of empirical MDPs [11.3458118258705]
  ベイズ的な視点を採り、マルコフ決定プロセスの目的関数を事前情報で正規化する。 提案するアルゴリズムは,大規模オンラインショッピングストアの合成シミュレーションと実世界の検索ログに基づいて評価する。
  論文  参考訳（メタデータ） (2022-08-03T22:02:50Z)
• Off-Policy Evaluation with Policy-Dependent Optimization Response [90.28758112893054]
  我々は,テキスト政治に依存した線形最適化応答を用いた非政治評価のための新しいフレームワークを開発した。 摂動法による政策依存推定のための非バイアス推定器を構築する。 因果介入を最適化するための一般的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-02-25T20:25:37Z)
• Offline RL Without Off-Policy Evaluation [49.11859771578969]
  政治Qを用いた制約付き/規則化された政策改善の一段階を単に行うだけで、行動方針の予測が驚くほどうまく機能することを示す。 この1ステップのアルゴリズムは、D4RLベンチマークの大部分において、以前報告された反復アルゴリズムの結果を上回っている。
  論文  参考訳（メタデータ） (2021-06-16T16:04:26Z)
• Application-Driven Learning: A Closed-Loop Prediction and Optimization Approach Applied to Dynamic Reserves and Demand Forecasting [41.94295877935867]
  我々は、予測と意思決定のプロセスが統合され、協調最適化される新しいクローズドループフレームワークであるアプリケーション駆動学習を提案する。 提案手法は拡張性があり,標準のオープンループ手法よりも一貫して性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-02-26T02:43:28Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。