論文の概要: PersonaCodeBench: Evaluating Coding Agents in Persona-driven Human-Interactive Sessions
- arxiv url: http://arxiv.org/abs/2611.05739v1
- Date: Tue, 03 Nov 2026 23:27:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.90133
- Title: PersonaCodeBench: Evaluating Coding Agents in Persona-driven Human-Interactive Sessions
- Title（参考訳）: PersonaCodeBench:ペルソナ駆動型ヒューマンインタラクティブセッションにおけるコーディングエージェントの評価
- Abstract要約: PersonaCodeBenchは、マルチターンコーディングセッションでユーザ特性を検証可能な義務に変換する。
実行時に、コントローラはユーザーシミュレータの応答と要求の開示を制御します。
完了検証器とパーソナライズ検証器は、ネイティブの正しさとペルソナの履行を別々に評価する。
- 参考スコア（独自算出の注目度）: 59.78223575963627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coding agents must deliver correct software while respecting users' expertise, preferences, and working conditions. Existing benchmarks increasingly incorporate interaction, yet personalized requirement fulfillment remains underexplored. We introduce PersonaCodeBench, which turns user characteristics into verifiable obligations in persona-driven multi-turn coding sessions. Our persona pool spans roles, technical abilities, interaction preferences, and practical constraints, yielding task-grounded evolved requirements for implementation, permissions, testing, explanation, and delivery. At runtime, a controller governs user simulator responses and requirement disclosure, using online requirement evaluation to provide feedback and advance the interaction. Requirements emerge progressively, with their content, disclosure conditions, and acceptance criteria fixed before evaluation. A completion verifier and a personalization verifier separately assess native correctness and persona fulfillment. Joint pass requires both adherence to the declared budget and compliance with validity conditions. We evaluate all major frontier agents, establish a comprehensive leaderboard, and conduct detailed experimental analyses to validate effectiveness. PersonaCodeBench supports reproducible evaluation of coding agents' ability to meet explicit, personalized user expectations alongside coding objectives.
- Abstract（参考訳）: コーディングエージェントは、ユーザの専門性、好み、作業条件を尊重しながら、正しいソフトウェアを提供する必要がある。
既存のベンチマークでは、インタラクションがますます取り入れられているが、パーソナライズされた要求満足度はまだ未定だ。
本稿では,ペルソナ駆動型マルチターンコーディングセッションにおけるユーザ特性を検証可能な義務に変換するペルソナCodeBenchを紹介する。
私たちのペルソナプールは、役割、技術的能力、相互作用の好み、実践的な制約にまたがって、実装、許可、テスト、説明、デリバリのためのタスクベースで進化した要件を提供します。
実行時に、コントローラはユーザシミュレータの応答と要求開示を制御し、オンライン要求評価を使用してフィードバックを提供し、対話を前進させる。
要件は、その内容、開示条件、評価前に固定された受け入れ基準とともに、徐々に現れます。
完了検証器とパーソナライズ検証器は、ネイティブの正しさとペルソナの履行を別々に評価する。
合同パスは、宣言された予算の遵守と有効条件の遵守の両方を必要とする。
我々は、すべての主要フロンティアエージェントを評価し、包括的リーダーボードを構築し、詳細な実験分析を行い、有効性を検証する。
PersonaCodeBenchは、コーディング対象と同時に、明示的でパーソナライズされたユーザ期待を満たすコーディングエージェントの再現可能な評価をサポートする。
関連論文リスト
- PersonaChatBench: Evaluating Chat Assistants with Diverse Simulated Users [35.61916548947111]
PersonaChatBenchは、多様なユーザニーズに対するタスクの能力と応答性を評価するためのフレームワークである。
同じタスクを複数のシミュレートされたユーザと組み合わせ、それぞれ異なるニーズ、好み、インタラクションの振る舞いを指定するプライベートなペルソナカードによってガイドされる。
我々は、6つのドメインにわたる20の言語モデルを評価し、ネイティブタスクの結果を個別に評価し、表現されたペルソナのニーズを満たすこと、そしてシミュレータの忠実さを評価する。
論文 参考訳（メタデータ） (2026-10-30T17:23:14Z) - From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - PAUSE: A User-Centric Benchmark for Personal AI Assistants in Unified Service Environments [19.6693659617142]
我々は、ステートフルでサービス統合された環境でパーソナルAIアシスタントを評価するための、ユーザ中心のベンチマークであるPAUSEを紹介する。
最先端のプロプライエタリモデルでさえ、ステートフルな推論と構成意識を必要とするシナリオで70%のタスク完了に達することができません。
また,コヒーレントなサービス環境のスケーラブルな生成を可能にするユーザ中心の合成パイプラインを提案する。
論文 参考訳（メタデータ） (2026-07-29T18:10:06Z) - ICAE-Bench: Evaluating Coding Agents as Interactive Project Builders [26.859032352714276]
本稿では,インタラクティブなプロジェクト構築環境下でのコーディングエージェント評価ベンチマークICAE-Benchを紹介する。
基本的な考え方はファジィな製品要件から始め、自動化されたUser Agentで動的パラダイムをシミュレートすることです。
ICAE-Benchは、機能的正当性、セマンティックおよびAPI類似性、構造的忠実性、設計品質、相互作用品質などの多次元診断と共に標準化されたブラックボックステストを使用する。
論文 参考訳（メタデータ） (2026-07-23T11:31:38Z) - SWE-Together: Evaluating Coding Agents in Interactive User Sessions [19.069719245971786]
実際のユーザエージェントコーディングセッションから再構成したマルチターンベンチマークであるSWE-Togetherを紹介する。
11,260のセッションから109のリポジトリレベルのタスクをキュレートし、リカバリ可能なレポジトリステートでセッションを選択します。
我々は、元のユーザの意図を保存し、コーディングエージェントの進捗が必要な時にフィードバックを提供する、リアクティブLLMベースのユーザシミュレータを構築します。
論文 参考訳（メタデータ） (2026-06-29T08:35:15Z) - Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。
静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。
実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
論文 参考訳（メタデータ） (2026-05-29T17:00:55Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳（メタデータ） (2026-05-26T15:07:38Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - Beyond Static Evaluation: Rethinking the Assessment of Personalized Agent Adaptability in Information Retrieval [12.058221341033835]
適応型パーソナライゼーションにおける評価を再考するための概念レンズを提案する。
このレンズは,(1)時間的に進化する嗜好モデルを用いたペルソナベースユーザシミュレーション,(2)参照インタビューに触発されてコンテキスト内での嗜好を抽出する構造化エリケーションプロトコル,(3)エージェントの行動がセッションやタスク間でどのように改善されるかを測定する適応型評価メカニズムの3つを中心に構成されている。
論文 参考訳（メタデータ） (2025-10-05T00:35:37Z) - UserBench: An Interactive Gym Environment for User-Centric Agents [110.77212949007958]
LLM(Large Language Models)ベースのエージェントは、推論とツールの使用において、目覚ましい進歩を遂げてきたが、ユーザと積極的にコラボレーションする能力はまだ未熟である。
マルチターン、選好駆動インタラクションにおいてエージェントを評価するために設計されたユーザ中心のベンチマークであるUserBenchを紹介する。
論文 参考訳（メタデータ） (2025-07-29T17:34:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。