論文の概要: Toward User-Conditioned Evaluation of Personal LLM Agents under Temporal Interventions
- arxiv url: http://arxiv.org/abs/2607.21635v1
- Date: Mon, 20 Jul 2026 23:14:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:56.93185
- Title: Toward User-Conditioned Evaluation of Personal LLM Agents under Temporal Interventions
- Title(参考訳): 時間的介入による個人LLMエージェントのユーザ・コンディション評価に向けて
- Abstract要約: 既存のエージェントベンチマークは、固定API下でのテスト実行、メモリベンチマークは、リコールまたはリコール、セーフティベンチマークは、静的ポリシーコンプライアンスをテストする。
我々は、パーソナライズ・エージェントの評価には異なるプロトコルが必要であると論じる。
我々は,この要件を,明示的な時間的介入,介入全体にわたる永続状態,二次元的効果の誘発,ユーザ条件の変動の4つの条件として定式化する。
- 参考スコア(独自算出の注目度): 8.322624411492983
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Personal agents maintain memories, learned skills, tool configurations, and policy state that evolve with each user. Existing agent benchmarks often evaluate these capabilities in isolation: tool benchmarks test invocation under fixed APIs, memory benchmarks test recall or forgetting, and safety benchmarks test static policy compliance. We argue that personal-agent evaluation requires a different protocol: replaying the same temporal intervention across different persistent user-conditioned states and measuring how failures propagate across agent components. We formalize this requirement as four conditions: explicit temporal intervention, persistent state across the intervention, induced cross-dimensional effects, and variation in user-conditioned state. A focused audit of public benchmark protocols selected by explicit inclusion criteria identifies several close cases. Under our explicitly narrow operationalization, we did not find a protocol in that audited set satisfying all four conditions. This claim is scoped as a focused gap analysis with bounded literature coverage. This position paper proposes a minimal benchmark design and candidate reporting metrics for user-conditioned adaptation. The result is a concrete design requirement for future personal-agent evaluation, with metrics used as reporting tools for that requirement.
- Abstract(参考訳): パーソナルエージェントは、各ユーザとともに進化する記憶、学習スキル、ツール構成、ポリシー状態を保持する。
ツールベンチマークは固定API下でのテスト実行、メモリベンチマークはテストリコールまたはリコール、セーフティベンチマークは静的ポリシーコンプライアンスをテストする。
我々は、パーソナライズ・エージェントの評価には異なるプロトコルが必要であると主張している。
我々は,この要件を,明示的な時間的介入,介入全体にわたる永続状態,二次元的効果の誘発,ユーザ条件の変動の4つの条件として定式化する。
明示的包含基準によって選択された公開ベンチマークプロトコルの焦点監査では、いくつかのクローズドケースが特定される。
厳密な運用化の下では、4つの条件をすべて満たした監査セットにプロトコルが見つからなかった。
この主張は、境界文学のカバレッジによる集中的ギャップ分析として適用されている。
本稿では,ユーザ条件適応のための最小限のベンチマーク設計と候補レポートメトリクスを提案する。
その結果は、将来の個人エージェント評価のための具体的な設計要件であり、その要件のレポートツールとして使用されるメトリクスである。
関連論文リスト
- From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳(メタデータ) (2026-08-03T12:52:04Z) - PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳(メタデータ) (2026-07-02T10:59:03Z) - EPC: A Standardized Protocol for Measuring Evaluator Preference Dynamics in LLM Agent Systems [1.0152838128195467]
EPC(Evaluator Preference Coupling)は、RFCスタイルのプロトコル仕様である。
評価器のバージョン識別子,APIエンドポイント,測定日を付加した8つの評価器条件の結合測定のリファレンススナップショットを提供する。
我々は、バージョン管理規約(vX.Y-Z)を定義し、プロトコルバージョン、スナップショットバージョン、評価器生成を符号化し、採用、解釈、既知の落とし穴をカバーする使用法ガイドを提供する。
論文 参考訳(メタデータ) (2026-07-01T00:49:47Z) - AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility [104.46861849039357]
エージェントシステムはドメイン間で急速に進歩しているが、その評価は断片化されている。
根本的問題は、オープンでエージェントに依存しないアセスメントインタフェースがないことである。
我々は、審査員が評価を行い、すべての参加者が標準化されたプロトコルを介して対話するエージェントエージェントアセスメント(AAA)を提唱する。
論文 参考訳(メタデータ) (2026-06-11T17:23:54Z) - Can Generalist Agents Automate Data Curation? [58.652262227632406]
トレーニングデータのキュレーションは、現代のAI開発において、もっとも重要だが労働集約的な部分のひとつだ。
一般のコーディングエージェントがこのデータキュレーションループを自動化できるかどうかを問う。
モデル、トレーニングレシピ、評価スイートを修正するエージェント中心のベンチマークである*Curation-Bench*を紹介します。
論文 参考訳(メタデータ) (2026-06-02T22:26:53Z) - Interactive Evaluation Requires a Design Science [90.62695599188204]
大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。
フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。
本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
論文 参考訳(メタデータ) (2026-05-18T04:03:18Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳(メタデータ) (2026-04-09T16:50:50Z) - Toward Scalable Verifiable Reward: Proxy State-Based Evaluation for Multi-turn Tool-Calling LLM Agents [8.760287445955045]
大規模言語モデル (LLM) エージェントは多ターン対話や多段階のツール呼び出しによって運用に利用されつつある。
以前のエージェントベンチマークは、ビルドとイテレーションにコストがかかる、完全に決定論的バックエンドに依存していた。
決定論的データベースを使わずに最終状態ベース評価を保持するLLM駆動型シミュレーションフレームワークであるProxy State-Based Evaluationを提案する。
論文 参考訳(メタデータ) (2026-02-18T07:49:47Z) - Active Inference with Reusable State-Dependent Value Profiles [0.0]
生成モデルにおける隠れ状態に割り当てられた値関連パラメータの小さな再利用可能なバンドル。
この枠組みを確率論的逆転学習において評価し,静的精度,エントロピー結合動的精度,プロファイルベースモデルを比較した。
論文 参考訳(メタデータ) (2025-12-03T04:11:57Z) - Belief-State Query Policies for User-Aligned POMDPs [18.821166966365315]
本稿では,エージェントの動作に対するユーザの制約や嗜好を部分的に観察可能な環境で表現するための新しい枠組みを提案する。
このような制約を初めて公式に解析し、パラメータ化されたBSQポリシーの期待されるコスト関数w.r.tはそのパラメータが凸ではないことを証明した。
この理論的な結果から, gPOMDPエージェントの動作を保証されたユーザアライメントで最適化するアルゴリズムが誕生した。
論文 参考訳(メタデータ) (2024-05-24T20:04:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。