論文の概要: Evaluating Agentic Capabilities Before Post-Training: An End-to-End Approach

• arxiv url: http://arxiv.org/abs/2610.19425v1
• Date: Wed, 14 Oct 2026 02:21:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.89857
• Title: Evaluating Agentic Capabilities Before Post-Training: An End-to-End Approach
• Title（参考訳）: 訓練終了前におけるエージェント能力の評価 : エンドツーエンドアプローチ
• Abstract要約: ASAPは、エンドツーエンドのタスクで事前訓練されたベースモデルからエージェントの振る舞いを抽出し評価するためのフレームワークである。 ベースモデルにまたがる差別的なエンドツーエンドのパフォーマンスと、チェックポイントの事前トレーニングが得られます。
• 参考スコア（独自算出の注目度）: 49.67457555471041
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic capabilities are increasingly important for modern LLMs, yet remain difficult to evaluate during pretraining. Existing approaches typically rely on static trajectory-derived tasks or likelihood-based proxies, which are lightweight but provide limited visibility into how base models behave in interactive environments. We introduce ASAP (Agent Scaffold Adaptation for Pretraining Evaluation), a lightweight framework for eliciting and evaluating agentic behavior from pretrained base models on end-to-end tasks. Rather than converting base models into chat-style agents, ASAP preserves the completion interface and adapts existing agent scaffolds through structured trajectory continuation, short reference prefixes, and minimal recovery mechanisms. Across software-engineering and deep-research benchmarks, ASAP yields discriminative end-to-end performance across base models and pretraining checkpoints. Beyond aggregate scores, ASAP exposes model-generated execution trajectories, enabling analysis of exploration, editing, testing, recovery, and task completion across training stages. These trajectories provide a behavioral view of how agent-relevant capabilities change during pretraining and how execution patterns differ after post-training. Our results suggest that end-to-end agent evaluation can complement conventional pretraining benchmarks by providing a practical diagnostic of interactive model behavior.
• Abstract（参考訳）: エージェント能力は現代のLLMにとってますます重要になっているが、事前訓練中の評価は困難である。 既存のアプローチは、通常、静的な軌跡由来のタスクや可能性ベースのプロキシに依存しており、軽量であるが、インタラクティブな環境でのベースモデルの振る舞いについて、限られた可視性を提供する。 AsAP(Agent Scaffold Adaptation for Pretraining Evaluation)は,エンド・ツー・エンドタスクにおける事前学習ベースモデルからエージェント動作を抽出・評価するための軽量フレームワークである。 ベースモデルをチャットスタイルのエージェントに変換する代わりに、ASAPは補完インターフェイスを保持し、構造化された軌道継続、短い参照プレフィックス、最小のリカバリメカニズムを通じて既存のエージェントの足場に適応する。 ソフトウェアエンジニアリングとディープリサーチのベンチマーク全体において、ASAPはベースモデルと事前トレーニングチェックポイント間での差別的なエンドツーエンドのパフォーマンスを得る。 集約スコア以外にも、ASAPはモデル生成実行トラジェクトリを公開し、トレーニングステージ全体にわたる探索、編集、テスト、リカバリ、タスク完了の分析を可能にする。 これらのトラジェクトリは、事前トレーニング中にエージェント関連能力がどのように変化するか、およびポストトレーニング後の実行パターンがどのように異なるかの振る舞いのビューを提供する。 この結果から,対話型モデル行動の実践的診断を行うことにより,従来の事前学習ベンチマークを補完できる可能性が示唆された。

関連論文リスト

• The Missing Piece in Pre-trained Model Evaluation: Reward-Guided Decoding Unlocks Task-Oriented Behavior Without Parameter Updates [31.50160357699629]
  エネルギーベースデコーディング(Energy-Based Decoding)は、凍結した事前学習モデルからタスク指向の振る舞いを活性化するためのトレーニング不要で報酬誘導型フレームワークである。 EBDは,基本モデル出力をより指示追従行動にシフトさせ,学習後の動作に類似度を増すことを示す。
  論文  参考訳（メタデータ） (2026-05-27T06:25:00Z)
• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• APTBench: Benchmarking Agentic Potential of Base LLMs During Pre-Training [48.20667772172573]
  APTBenchは、現実世界のエージェントタスクと成功した軌道を多重選択やテキスト補完の質問に変換するフレームワークである。 中心となるエージェント能力、例えば計画と行動に焦点を当て、主要なエージェントシナリオ、ソフトウェア工学、深層研究をカバーしている。 既存の汎用ベンチマークと比較すると、APTBenchはモデル下流のパフォーマンスをエージェントとしてより予測的な信号を提供する。
  論文  参考訳（メタデータ） (2025-10-28T13:11:22Z)
• Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
  我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• Task Consistent Prototype Learning for Incremental Few-shot Semantic Segmentation [20.49085411104439]
  Incrmental Few-Shot Semantic (iFSS)は、新しいクラスにおけるセグメンテーション能力を継続的に拡張するモデルを必要とするタスクに取り組む。 本研究では,メタラーニングに基づくプロトタイプ手法を導入し,モデルに事前知識を保ちながら,迅速な適応方法の学習を促す。 PASCALとCOCOベンチマークに基づいて構築されたiFSSデータセットの実験は、提案手法の高度な性能を示している。
  論文  参考訳（メタデータ） (2024-10-16T23:42:27Z)
• Few-shot Prompting for Pairwise Ranking: An Effective Non-Parametric Retrieval Model [18.111868378615206]
  本稿では,複雑な訓練パイプラインを必要とせず,教師付きモデルに近い性能を達成できる一対数ショットローダを提案する。 また,複雑なトレーニングパイプラインを必要とせず,教師付きモデルに近い性能を実現する。
  論文  参考訳（メタデータ） (2024-09-26T11:19:09Z)
• The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
  本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
  論文  参考訳（メタデータ） (2024-04-01T16:00:01Z)
• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [117.48444197402858]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。