論文の概要: Bridging Foundational and Agentic Capabilities of LLMs

• arxiv url: http://arxiv.org/abs/2610.29751v1
• Date: Wed, 21 Oct 2026 13:50:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.376588
• Title: Bridging Foundational and Agentic Capabilities of LLMs
• Title（参考訳）: LLMのブリッジ基礎とエージェント機能
• Abstract要約: 我々は,操作レベル測定フレームワークを通じて基礎的・エージェント的機能を橋渡しする。 我々は,各モデルを,機能ベンチマークから導出した基本プロファイルと,相互作用軌跡から導出した操作プロファイルで表現する。 2ドルベンチで15のモデルサービスの実験では、基礎的なプロファイルがエージェント操作を部分的に予測することしか示されていない。
• 参考スコア（独自算出の注目度）: 11.916341739006597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly deployed as agents, yet it remains unclear how their foundational capabilities translate into agentic capabilities. End-to-end scores leave unresolved whether low benchmark capability or weak deployment drives a failure, limiting actionable diagnosis. We bridge foundational and agentic capabilities through an operation-level measurement framework. We represent each model with a foundational profile derived from capability benchmarks and an operation profile derived from interaction trajectories, and define capability realization gaps as deviations of observed operation performance from predictions based on foundational capabilities. Experiments on fifteen model services in $τ^2$-Bench show that foundational profiles only partially predict agentic operations. Models with comparable profiles can differ substantially in execution, and these gaps remain consistent across task subsets. Operation profiles add information and substantially improve task-score prediction. The framework locates execution departures at the operation level to inform model development and agent evaluation. We will release our code and analysis artifacts.
• Abstract（参考訳）: 大規模言語モデル(LLM)はエージェントとしてますますデプロイされているが、その基礎的能力がエージェント機能にどのように変換されるかは定かではない。 エンドツーエンドのスコアは、低いベンチマーク能力と弱いデプロイメントが障害を引き起こすかどうかを未解決のままにして、実行可能な診断を制限します。 我々は,操作レベル測定フレームワークによる基礎的・エージェント的能力の橋渡しを行う。 本稿では,機能ベンチマークと相互作用軌跡から導かれる操作プロファイルを用いて各モデルを表現するとともに,基本能力に基づく予測から観測された操作性能の偏差として能力実現のギャップを定義する。 τ^2$-Benchの15のモデルサービスに関する実験は、基礎プロファイルがエージェント操作を部分的にしか予測しないことを示している。 同等のプロファイルを持つモデルは実行時に大きく異なり、これらのギャップはタスクサブセット間で一貫性がある。 操作プロファイルは情報を追加し、タスクスコア予測を大幅に改善する。 このフレームワークは、実行の出発点を操作レベルで特定し、モデルの開発とエージェント評価を通知する。 コードと分析アーティファクトをリリースします。

関連論文リスト

• Evaluating Agentic Capabilities Before Post-Training: An End-to-End Approach [49.67457555471041]
  ASAPは、エンドツーエンドのタスクで事前訓練されたベースモデルからエージェントの振る舞いを抽出し評価するためのフレームワークである。 ベースモデルにまたがる差別的なエンドツーエンドのパフォーマンスと、チェックポイントの事前トレーニングが得られます。
  論文  参考訳（メタデータ） (2026-10-14T02:21:09Z)
• From Atomic to Agentic: Towards Interpretable Evaluation of LLMs' Agentic Mathematical Capabilities [103.60384544335072]
  大規模言語モデル(LLM)は、エンドツーエンドの数学的推論からエージェントインテリジェンスの統合へと進化している。 本フレームワークは,問題解決エージェントの挙動を,再利用可能な数学的原子能力の構造化された分類法と整合させる。 実験により、同様のエンドツーエンドの精度を持つモデルでは、エージェント能力プロファイルが著しく異なることが判明した。
  論文  参考訳（メタデータ） (2026-08-27T10:52:06Z)
• From Question Answering to Task Completion: A Survey on Agent System and Harness Design [67.8241530947325]
  本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。 まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。 次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
  論文  参考訳（メタデータ） (2026-06-14T05:40:16Z)
• Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
  本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。 ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。 5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
  論文  参考訳（メタデータ） (2026-05-27T03:47:35Z)
• APTBench: Benchmarking Agentic Potential of Base LLMs During Pre-Training [48.20667772172573]
  APTBenchは、現実世界のエージェントタスクと成功した軌道を多重選択やテキスト補完の質問に変換するフレームワークである。 中心となるエージェント能力、例えば計画と行動に焦点を当て、主要なエージェントシナリオ、ソフトウェア工学、深層研究をカバーしている。 既存の汎用ベンチマークと比較すると、APTBenchはモデル下流のパフォーマンスをエージェントとしてより予測的な信号を提供する。
  論文  参考訳（メタデータ） (2025-10-28T13:11:22Z)
• Agentic Predictor: Performance Prediction for Agentic Workflows via Multi-View Encoding [56.565200973244146]
  Agentic Predictorは、効率的なエージェントワークフロー評価のための軽量な予測器である。 Agentic Predictorはタスク成功率の近似を学ぶことで、最適なエージェントワークフロー構成の迅速かつ正確な選択を可能にする。
  論文  参考訳（メタデータ） (2025-05-26T09:46:50Z)
• Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models [56.00992369295851]
  オープンソースのLarge Language Models(LLM)は、さまざまなNLPタスクで大きな成功を収めていますが、エージェントとして振る舞う場合、それでもAPIベースのモデルよりもはるかに劣っています。 本稿では,(1) エージェント学習コーパスを,(1) エージェント学習データの分布から大きくシフトするエージェント推論と,(2) エージェントタスクが必要とする能力に異なる学習速度を示すエージェント学習コーパスと,(3) 幻覚を導入することでエージェント能力を改善する際の副作用について述べる。 本稿では,エージェントのためのFLANモデルを効果的に構築するためのエージェントFLANを提案する。
  論文  参考訳（メタデータ） (2024-03-19T16:26:10Z)
• Behavioral Analysis of Vision-and-Language Navigation Agents [21.31684388423088]
  VLN(Vision-and-Language Navigation)エージェントは、周囲に基づいて行動の指示を下すことができる。 本研究では,エージェントの振る舞いを専門知識に基づいて研究する手法を開発した。
  論文  参考訳（メタデータ） (2023-07-20T11:42:24Z)
• Measuring the Driving Forces of Predictive Performance: Application to Credit Scoring [0.0]
  本稿では,予測モデルに関連するコントリビューションに性能指標を分解するXPER手法を紹介する。 XPERは理論上はShapley値に基づいており、モデル非依存とパフォーマンスメトリック非依存の両方である。 モデル性能の驚くほど大きな部分を、少数の機能が説明できることを示す。
  論文  参考訳（メタデータ） (2022-12-12T13:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。