論文の概要: OPT-BENCH: Evaluating the Iterative Self-Optimization of LLM Agents in Large-Scale Search Spaces

• arxiv url: http://arxiv.org/abs/2605.08904v1
• Date: Sat, 09 May 2026 11:51:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.963389
• Title: OPT-BENCH: Evaluating the Iterative Self-Optimization of LLM Agents in Large-Scale Search Spaces
• Title（参考訳）: OPT-BENCH:大規模検索空間におけるLLMエージェントの反復的自己最適化の評価
• Abstract要約: OPT-BENCHは大規模検索空間における自己改善能力を評価するためのベンチマークである。 我々は,人間ライクな認知適応をエミュレートするフレームワークであるOPT-Agentを提案する。
• 参考スコア（独自算出の注目度）: 28.79067182025186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities in reasoning and tool use. However, the fundamental cognitive faculties essential for problem solving, including perception, reasoning, and memory, remain the stable core of intelligence. Unlike memorizing specific patterns, humans succeed in novel environments by applying these intrinsic faculties to adapt and optimize. Yet, whether LLMs possess this essential capacity, namely the ability to continuously refine solutions in response to dynamic environmental feedback, remains underexplored. To address this challenge, we introduce OPT-BENCH, a benchmark for evaluating self-improvement capabilities in large-scale search spaces. By combining 20 machine learning tasks with 10 classic NP-hard problems, OPT-BENCH provides a rigorous setting to assess whether agents can adapt through intrinsic self-reflection rather than rote tool application. We further propose OPT-Agent, a framework that emulates human-like cognitive adaptation. It operates through a general perception, memory, and reasoning loop, iteratively refining solutions based on environmental feedback. Through extensive experiments on 19 LLMs from 7 model families, including reasoning models, general models, and open-source models ranging from 3B to 235B parameters, we demonstrate that stronger models are more effective at leveraging feedback signals for self-improvement. However, this upper-bound adaptability remains fundamentally constrained by the models' base capacity, and even the most advanced LLMs still fall short of human expert performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論とツールの使用において顕著な能力を示している。 しかし、認識、推論、記憶を含む問題解決に不可欠な基本的な認知能力は、知性の安定した中核のままである。 特定のパターンを記憶するのとは異なり、人間はこれらの本質的な能力を適用して適応し最適化することで、新しい環境で成功する。 しかし、LLMがこのような重要な能力を持っているかどうか、すなわち、動的環境フィードバックに応答してソリューションを継続的に洗練する能力は、まだ未解明のままである。 この課題に対処するために,大規模検索空間における自己改善能力を評価するベンチマークであるOPT-BENCHを紹介する。 20の機械学習タスクと10の古典的なNPハード問題を組み合わせることで、OPT-BENCHは、エージェントがロートツールアプリケーションよりも本質的な自己回帰によって適応できるかどうかを厳密な設定を提供する。 また,人間のような認知適応をエミュレートするフレームワークであるOPT-Agentを提案する。 一般的な認識、記憶、推論ループを通じて動作し、環境フィードバックに基づいて反復的に解決する。 推論モデル,一般モデル,および3Bから235Bパラメータのオープンソースモデルを含む7つのモデルファミリーの19のLLMに関する広範な実験を通じて,より強力なモデルが自己改善のためのフィードバック信号の活用に有効であることを実証した。 しかし、この上界適応性はモデルの基本能力によって基本的に制限され続けており、最も先進的なLCMでさえも人間の専門的性能に欠ける。

関連論文リスト

• Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs [60.80435138270317]
  本稿では,メタ認知的フィードバックによる強化学習を忠実な校正問題に適用する。 実験により、RLMFは様々なタスクにおいて汎用的で最先端のFCを実現することが示された。 RLMFは標準のRLを最大63%上回り、モデルの性能限界を評価し表現する能力を高めている。
  論文  参考訳（メタデータ） (2026-06-30T17:56:01Z)
• Poly-EPO: Training Exploratory Reasoning Models [62.82992914206963]
  本稿では,学習後言語モデル(LM)の枠組みについて,楽観的な探索を明示的に奨励し,探索と搾取の相乗効果を促進する。 本稿では,この枠組みを探索と利用を明確に相乗化するための目的として,ポリクロミック探索政策最適化(Poly-EPO)を提案する。
  論文  参考訳（メタデータ） (2026-04-19T22:54:19Z)
• RefineRL: Advancing Competitive Programming with Self-Refinement Reinforcement Learning [63.432969627395686]
  RefineRLは、競合するプログラミング問題に対して、大規模言語モデルの自己精製能力を解き放つために設計された新しいアプローチである。 Skeptical-Agentは、CP問題の公開テストケースに対して生成されたソリューションを検証するためのローカル実行ツールを備えた反復的な自己修復エージェントである。 強化学習ソリューションは、標準RLVRデータのみを用いてLLMを自己精製にインセンティブを与える。
  論文  参考訳（メタデータ） (2026-04-01T11:54:57Z)
• Large Language Newsvendor: Decision Biases and Cognitive Mechanisms [2.7070404673380817]
  大規模言語モデル(LLM)は、ビジネス意思決定にますます統合されている。 LLMは人間の認知バイアスを再現し増幅する。 これは特にサプライチェーン管理のような高い運用状況において重要である。
  論文  参考訳（メタデータ） (2025-12-14T04:51:53Z)
• Can Language Models Critique Themselves? Investigating Self-Feedback for Retrieval Augmented Generation at BioASQ 2025 [1.6819960041696331]
  RAGと「ディープリサーチ」システムは、大規模言語モデル(LLM)が反復的に出力を洗練する自律的な探索プロセスの実現を目的としている。 これらのシステムを、生物医学研究のようなドメイン固有の専門的な検索に適用することは、課題を提示する。 本研究では,この反復的自己補正によって性能が向上し,推論モデルがより有用なフィードバックを生成できるかどうかを検討した。
  論文  参考訳（メタデータ） (2025-08-07T13:13:19Z)
• Feedback-Induced Performance Decline in LLM-Based Decision-Making [6.5990946334144756]
  大規模言語モデル(LLM)は、自然言語の問題記述からコンテキストを抽出することができる。 本稿では,マルコフ決定過程(MDP)におけるこれらのモデルの挙動について考察する。
  論文  参考訳（メタデータ） (2025-07-20T10:38:56Z)
• SwS: Self-aware Weakness-driven Problem Synthesis in Reinforcement Learning for LLM Reasoning [95.28059121743831]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、複雑な推論タスクにおいて、大規模言語モデル(LLM)のトレーニングに有効であることが証明されている。 本稿では、モデル欠陥を体系的に識別し、それらを問題解決に活用する自己認識弱さ駆動型問題合成フレームワーク(SwS)を提案する。 SwSはモデルを自己識別し、RLの弱点に対処することで堅牢な一般化を可能にし、7Bモデルと32Bモデルで平均パフォーマンスが10.0%と7.7%向上した。
  論文  参考訳（メタデータ） (2025-06-10T17:02:00Z)
• Evolving LLMs' Self-Refinement Capability via Synergistic Training-Inference Optimization [53.93621974137829]
  自己精製(Self-Refinement)とは、モデルが自身のレスポンスを改訂し、改善された出力を生成する能力を指す。 EVOLVEは、反復的なトレーニングを通じて自己精製の進化を導き、追跡するためのフレームワークである。 固有モデル能力のより広範な自己改善を実現するために自己改善を活用する可能性を実証する。
  論文  参考訳（メタデータ） (2025-02-08T15:21:55Z)
• Wait, that's not an option: LLMs Robustness with Incorrect Multiple-Choice Options [2.1184929769291294]
  本研究は,LLMの命令追従能力と批判的推論とのバランスを評価するための新しいフレームワークを提案する。 トレーニング後のアライメントモデルでは,無効なオプションの選択がデフォルトとなることが多いが,ベースモデルでは,モデルサイズに合わせてスケールするリファリング機能が改善されている。 さらに、同様の指示追従バイアスを示す並列人間の研究を行い、これらのバイアスがアライメントに使用される人間のフィードバックデータセットを通してどのように伝播するかを示唆した。
  論文  参考訳（メタデータ） (2024-08-27T19:27:43Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Reflexion: Language Agents with Verbal Reinforcement Learning [44.85337947858337]
  リフレクション(Reflexion)は、ウェイトを更新するのではなく、言語フィードバックによって言語エージェントを強化する新しいフレームワークである。 様々なタイプ(スカラー値または自由形式言語)とフィードバック信号のソース(外部または内部シミュレート)を組み込むのに十分な柔軟性がある。 例えば、ReflexionはHumanEvalのコーディングベンチマークで91%のパス@1精度を達成した。
  論文  参考訳（メタデータ） (2023-03-20T18:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。