論文の概要: Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection

• arxiv url: http://arxiv.org/abs/2504.01931v1
• Date: Wed, 02 Apr 2025 17:40:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:22:34.525738
• Title: Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection
• Title（参考訳）: レビュー、リファイン、リピート: 動的評価と選択によるAIエージェントの反復的デコード理解
• Authors: Souradip Chakraborty, Mohammadreza Pourreza, Ruoxi Sun, Yiwen Song, Nino Scherrer, Jindong Gu, Furong Huang, Amrit Singh Bedi, Ahmad Beirami, Hamid Palangi, Tomas Pfister,
• Abstract要約: Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。 本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
• 参考スコア（独自算出の注目度）: 71.92083784393418
• License:
• Abstract: While AI agents have shown remarkable performance at various tasks, they still struggle with complex multi-modal applications, structured generation and strategic planning. Improvements via standard fine-tuning is often impractical, as solving agentic tasks usually relies on black box API access without control over model parameters. Inference-time methods such as Best-of-N (BON) sampling offer a simple yet effective alternative to improve performance. However, BON lacks iterative feedback integration mechanism. Hence, we propose Iterative Agent Decoding (IAD) which combines iterative refinement with dynamic candidate evaluation and selection guided by a verifier. IAD differs in how feedback is designed and integrated, specifically optimized to extract maximal signal from reward scores. We conduct a detailed comparison of baselines across key metrics on Sketch2Code, Text2SQL, and Webshop where IAD consistently outperforms baselines, achieving 3--6% absolute gains on Sketch2Code and Text2SQL (with and without LLM judges) and 8--10% gains on Webshop across multiple metrics. To better understand the source of IAD's gains, we perform controlled experiments to disentangle the effect of adaptive feedback from stochastic sampling, and find that IAD's improvements are primarily driven by verifier-guided refinement, not merely sampling diversity. We also show that both IAD and BON exhibit inference-time scaling with increased compute when guided by an optimal verifier. Our analysis highlights the critical role of verifier quality in effective inference-time optimization and examines the impact of noisy and sparse rewards on scaling behavior. Together, these findings offer key insights into the trade-offs and principles of effective inference-time optimization.
• Abstract（参考訳）: AIエージェントは様々なタスクで顕著なパフォーマンスを示してきたが、それでも複雑なマルチモーダルアプリケーション、構造化生成、戦略的計画に苦戦している。 エージェントタスクの解決は通常、モデルパラメータを制御せずにブラックボックスAPIアクセスに依存するため、標準的な微調整による改善は現実的ではないことが多い。 Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。 しかし、BONには反復的なフィードバック統合機構がない。 そこで本研究では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号法(IAD)を提案する。 IADはフィードバックの設計と統合の仕方で異なり、特に報酬スコアから最大信号の抽出に最適化されている。 私たちは、Sketch2Code、Text2SQL、Webshopにおける主要なメトリクス間のベースラインの詳細な比較を行い、IADはベースラインを一貫して上回り、Sketch2CodeとText2SQL(LLMの判断なしで)では3-6%、Webshopでは複数のメトリクスで8-10%のゲインを達成しています。 IADの利得の出所をよりよく理解するために、確率的サンプリングによる適応的フィードバックの影響を解消するための制御実験を行い、IADの改善は、単に多様性をサンプリングするだけでなく、検証者誘導の洗練によって主に引き起こされていることを発見した。 また, IAD と BON は, 最適検証器によって導かれる場合, 計算量の増加とともに, 推論時間スケーリングを示すことを示した。 本分析では,実効的な推定時間最適化における検証品質の重要性を強調し,ノイズとスパース報酬がスケーリング行動に与える影響について検討する。 これらの発見は、効果的な推論時間最適化のトレードオフと原則に関する重要な洞察を提供する。

関連論文リスト

• Towards Robust Multimodal Open-set Test-time Adaptation via Adaptive Entropy-aware Optimization [9.03028904066824]
  オープンセットテスト時間適応(OSTTA)は、未知のクラスを含む未ラベルのターゲットドメインに、オンラインのソース事前トレーニングモデルを適用することを目的としている。 マルチモーダルオープンセットテスト時間適応に特化して設計された新しいフレームワークであるAdaptive Entropy-aware Optimization (AEO)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T18:59:30Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Better Practices for Domain Adaptation [62.70267990659201]
  ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。 DAの明確な検証プロトコルは、文献の悪い実践につながっている。 ドメイン適応手法の3つの分野にまたがる課題を示す。
  論文  参考訳（メタデータ） (2023-09-07T17:44:18Z)
• IOHanalyzer: Detailed Performance Analyses for Iterative Optimization Heuristics [3.967483941966979]
  IOHanalyzerは、IOHのパフォーマンスデータを分析、比較、視覚化するための新しいユーザフレンドリーなツールである。 IOHanalyzerは、固定目標実行時間とベンチマークアルゴリズムの固定予算性能に関する詳細な統計を提供する。 IOHanalyzerは、主要なベンチマークプラットフォームから直接パフォーマンスデータを処理できる。
  論文  参考訳（メタデータ） (2020-07-08T08:20:19Z)
• MM-KTD: Multiple Model Kalman Temporal Differences for Reinforcement Learning [36.14516028564416]
  本稿では、最適制御ポリシーを学習するための革新的マルチモデルカルマン時間差分(MM-KTD)フレームワークを提案する。 システムのサンプリング効率を高めるために,能動的学習法を提案する。 実験の結果, MM-KTDフレームワークは最先端のフレームワークに比べて優れていた。
  論文  参考訳（メタデータ） (2020-05-30T06:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。