論文の概要: IntentDelta: A Human-Constructed Benchmark for Evolving User Intent
- arxiv url: http://arxiv.org/abs/2610.33806v1
- Date: Sat, 24 Oct 2026 17:10:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.450437
- Title: IntentDelta: A Human-Constructed Benchmark for Evolving User Intent
- Title（参考訳）: IntentDelta: ユーザインテントの進化のための人為的なベンチマーク
- Abstract要約: 言語モデルエージェントは、複雑なタスクの間、ユーザーが要求や優先順位を更新する際に適応しなければなりません。
IntentDeltaは、638のトラジェクトリと3,766のターンがWebShopとTravelPlannerにまたがる人間によるマルチターンベンチマークである。
各ターンは、ユーザの発話と累積意図状態と人間の参照動作とをペアリングする。
我々は、意図回復と行動品質に関する11のエージェントを評価した。
- 参考スコア（独自算出の注目度）: 9.007510906557103
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language-model agents must adapt as users revise their requirements and priorities during complex tasks. We introduce IntentDelta, a human-constructed multi-turn benchmark with 638 trajectories and 3,766 turns across WebShop and TravelPlanner. Each turn pairs a user utterance with a cumulative intention state and human reference actions. The trajectories are cross-verified and cover feasibility- and preference-driven changes in constraints and priorities. We evaluate eleven agents on intention recovery and action quality. Average Intention Recovery is 33.1\% in TravelPlanner and 44.7\% in WebShop, while average Action Score is 31.6% and 41.0%, respectively. Agents struggle to preserve earlier requirements and distinguish soft preferences from must-have constraints. Correct intention recovery also does not guarantee successful execution, highlighting challenges in translating evolving user intentions into actions.
- Abstract（参考訳）: 言語モデルエージェントは、複雑なタスクの間、ユーザーが要求や優先順位を更新する際に適応しなければなりません。
IntentDeltaは、638のトラジェクトリと3,766のターンがWebShopとTravelPlannerにまたがる人間によるマルチターンベンチマークである。
各ターンは、ユーザの発話と累積意図状態と人間の参照動作とをペアリングする。
トラジェクトリはクロス検証され、制約と優先順位における実現可能性および優先権による変更をカバーする。
我々は、意図回復と行動品質に関する11のエージェントを評価した。
平均的意図回復率はTravelPlannerで33.1\%、WebShopで44.7\%、平均的なアクションスコアで31.6%、そして41.0%である。
エージェントは、以前の要件を維持し、ソフトな嗜好と必然的な制約を区別するのに苦労する。
正しい意図回復はまた、実行の成功を保証せず、進化するユーザの意図をアクションに翻訳する際の課題を強調している。
関連論文リスト
- EgoJEPA: Beyond Retargeting for Dexterous Manipulation from Egocentric Videos [54.3385405724896]
EgoJEPAは、エゴ中心の人間ビデオからエンボディメントに依存しない表現を学ぶ。
743.2時間から392.7時間にかけて、クロス・エボディメントの壁時計のコストを47.2%削減する。
論文 参考訳（メタデータ） (2026-10-14T20:34:18Z) - Benchmarking Self-Supervised 3D Medical Vision Foundation Models and Transferability Estimation [57.65266782182578]
セルフ教師付き事前トレーニングは、3D医療基盤モデルのプールを拡張したが、異なるデータセット、エンドポイント、微調整プロトコルを使用した評価を公表した。
14のセグメンテーション、分類、回帰タスク、複数の解剖学とモダリティにまたがる23の候補をベンチマークした。
3モデルショートリストは、7つのセグメンテーションタスクで記録された抜粋+訓練ジョブ時間を85.8%削減した。
論文 参考訳（メタデータ） (2026-10-13T01:52:19Z) - NavHarness: Adaptive Goals for Agentic Vision-Language Navigation [74.28348892951908]
Vision-Language Navigation (VLN) は、インボディードエージェントが指示や観察に基づいてアクションを生成する必要がある。
MethodはAgentic VLNフレームワークで、ローカルアクションの適応的な目標を設定するGoal Agentを含んでいる。
実世界の評価では、83.3%の成功と1.51,mの航法誤差が8つの挑戦ルートで3回評価されている。
論文 参考訳（メタデータ） (2026-09-30T15:06:45Z) - AgenticSwarm: Semantic Perception and Adaptive Task Allocation for Heterogeneous Multi-UAV Missions [2.063085443869579]
AgenticSwarmは、複数のUAVミッションにおける意味認識と適応タスク割り当てのためのエージェントフレームワークである。
AgenticSwarmは5つの多様なGazebo環境と屋内の実環境で評価されている。
グラウンディングDINO+SAM2.1の認識ベースラインと比較すると、SAM3ベースのパイプラインはクラス認識のリコールを25.2ポイント(pp)、セマンティックラベルの精度を29.5ppで改善している。
論文 参考訳（メタデータ） (2026-09-18T12:51:57Z) - Staying on the Attack Path: Structured State for Long-Horizon Automated Penetration Testing [17.809156797437208]
Intentestはインテントグラフ誘導型自動浸透試験剤である。
LLMのコンテキストウィンドウからの長い水平状態を、永続的なファクトインテント指向の非巡回グラフに外部化する。
総合的な成功率は88.2%、成功率は75.0%である。
論文 参考訳（メタデータ） (2026-09-07T11:09:01Z) - CAPTURE: Disentangling Preference Drift from Memory Poisoning in Personalized LLM Agents [0.15293427903448023]
CAPTUREは、潜伏したユーザ状態に対して、連続的に部分的に監視可能な決定プロセスである。
71.5%の勝利率であり、69.3%が同じ監督基準である。
定型的な毒殺の成功を11.5%に制限し、83.5%の真の嗜好の更新を受け入れている。
論文 参考訳（メタデータ） (2026-09-02T08:10:26Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - IntentScore: Intent-Conditioned Action Evaluation for Computer-Use Agents [10.905829987425752]
IntentScoreは、398KオフラインGUIインタラクションステップから候補動作のスコアを学習するプラン対応報酬モデルである。
Int IntentScore 97.5%は、ホールドアウト評価においてペアワイズ判別精度を達成する。
Int IntentScoreはタスク成功率を6.9ポイント改善し、不均一なオフライン軌道から学んだ報酬推定が未確認エージェントやタスク分布に一般化されることを示した。
論文 参考訳（メタデータ） (2026-04-06T20:39:30Z) - IntentCoding: Amplifying User Intent in Code Generation [66.86062682889101]
大規模言語モデル(LLM)は、コード生成において強力な能力を示しているが、複数の制約を伴うきめ細かいユーザ意図への固執は、依然として大きな課題である。
Intent-Amplified Code Generation (IntentCoding, IntentCoding)を提案する。
IntentCodingは、インテントをマスキングしてユーザインテントの影響を捉え、生成時のユーザインテントの効果を増幅するために、多強度アンサンブル機構を適用する。
論文 参考訳（メタデータ） (2026-01-20T13:34:16Z) - Towards Full Delegation: Designing Ideal Agentic Behaviors for Travel Planning [49.34098402103427]
本稿では,エージェントが優れたエージェント行動に追従すべき基準のリストであるAPECエージェントコンスティチューションを提案する。
APEC-Travelは、旅行者との対話を通じて、隠されたパーソナライズされたニーズを積極的に抽出する旅行計画エージェントである。
論文 参考訳（メタデータ） (2024-11-21T07:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。