論文の概要: UESF-Bench: Benchmarking and Probing for Unified Embodied Seeking and Following
- arxiv url: http://arxiv.org/abs/2607.13621v1
- Date: Wed, 15 Jul 2026 09:09:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.716621
- Title: UESF-Bench: Benchmarking and Probing for Unified Embodied Seeking and Following
- Title（参考訳）: UESF-Bench:Unified Embodied Seeking and followingのベンチマークと検証
- Abstract要約: 既存のベンチマークでは、ターゲットの人物がエピソードの開始時に見えると仮定している。
SeekFollow-VLAは、潜時位相推論のためのタスク駆動ルーティング機構を備えた視覚言語アクションフレームワークである。
実験結果から,SeekFollow-VLAはシングルヘッドベースラインとデュアルヘッドベースラインの両方に対して明確な改善が得られた。
- 参考スコア（独自算出の注目度）: 26.394860785106545
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language-guided human following is an important capability for embodied agents, but existing benchmarks typically assume that the target person is visible at the start of an episode. This setting simplifies the problem and overlooks a more realistic requirement: an agent often needs to first find a language-described target and then persistently follow that target in a dynamic environment. While recent work has started to study human search, existing settings are typically evaluated in task-specific scenarios and often rely on stronger prior knowledge of the environment. Moreover, they usually treat searching and following as separate tasks and still lack a unified benchmark for systematic evaluation. To address these limitations, we introduce the Unified Embodied Seeking and Following Benchmark (UESF-Bench), a large-scale and diverse benchmark for embodied human seeking and following. The benchmark requires agents to handle semantic-guided exploration, reliable behavior switching and recovery, and delayed identity grounding. To this end, we propose SeekFollow-VLA, a vision-language-action framework with a task-driven routing mechanism for latent phase inference and transition modeling between seeking and following. Experimental results show that SeekFollow-VLA achieves clear improvements over both single-head and dual-head baselines across single-person and multi-person environments, establishing a baseline for unified embodied seek-and-follow.
- Abstract（参考訳）: 言語誘導された人間の追従は、具体的エージェントにとって重要な能力であるが、既存のベンチマークでは、エピソードの開始時に対象人物が見えると仮定している。
この設定は問題を単純化し、より現実的な要件を見落としている。エージェントはまず言語で記述されたターゲットを見つけ、それから動的環境でそのターゲットを永続的に追跡する必要がある。
近年、人間の検索の研究が始まっているが、既存の設定は通常タスク固有のシナリオで評価され、しばしば環境に関するより深い事前知識に依存している。
さらに、彼らは通常、検索とフォローを別々のタスクとして扱うが、体系的な評価のための統一されたベンチマークはいまだに欠けている。
これらの制約に対処するため、我々は、人間の探究と追従を具現化する大規模かつ多様なベンチマークであるUnified Embodied Seeking and following Benchmark (UESF-Bench)を紹介した。
このベンチマークでは、セマンティックガイダンスによる探索、信頼性の高い振る舞いの切り替えとリカバリ、遅延したアイデンティティグラウンドの処理が求められる。
この目的のために,潜時位相推論と探索と追従の遷移モデリングのためのタスク駆動型ルーティング機構を備えた視覚言語対応フレームワークであるSeekFollow-VLAを提案する。
実験結果から,SeekFollow-VLAはシングルヘッドベースラインとデュアルヘッドベースラインの両方に対して,シングルパーソン環境とマルチパーソン環境の両方において明確な改善を実現し,統一的なエンボディ・シーク・アンド・フォローのベースラインを確立した。
関連論文リスト
- From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - Benchmark Everything Everywhere All at Once [28.30618112297148]
ベンチマーク構築用に設計された完全自律型エージェントシステムであるBenchmark Agentを紹介する。
本フレームワークは,ユーザクエリ分析やサブタスク設計からデータアノテーション,品質管理に至るまで,完全なベンチマーク構築パイプラインを編成する。
テキスト理解やマルチモーダル理解,ドメイン固有の推論など,さまざまな評価シナリオにまたがる15の代表的なベンチマークを作成した。
論文 参考訳（メタデータ） (2026-06-04T17:52:04Z) - VibeSearchBench: Benchmarking Long-horizon Proactive Search in the Wild [0.0]
LLMベースのエージェントは、検索ベンチマークでよく評価されるが、実際のユーザは常に満足できない結果を見つける。
このギャップは、既存のベンチマークが過剰に指定されたクエリ、シングルターンインタラクション、固定スキーマ評価に依存しているためである。
我々は、このパラダイムをVibeSearchと呼び、20ドメインにわたる200のバイリンガル(中国語と英語)タスクを手作業でキュレートしたベンチマークであるVibeSearchBenchを紹介する。
論文 参考訳（メタデータ） (2026-05-27T03:06:18Z) - Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction [127.64173950476702]
エージェントが直接、汎用端末ツールを用いて、生コーパスを直接検索する直接コーパス間相互作用(DCI)について検討する。
このアプローチではオフラインインデックスを必要とせず、ローカルコーパスの進化に自然に適応する。
IRベンチマークとエンドツーエンドのエージェント検索タスク全体にわたって、この単純なセットアップは、強いスパース、密度、リランクベースラインよりも大幅に優れています。
論文 参考訳（メタデータ） (2026-05-03T19:13:11Z) - Learning Semantic Priorities for Autonomous Target Search [16.31406252730355]
セマンティックな特徴を用いることで、未知の環境におけるロボット探索と救助ミッションの目標探索の効率が向上する。
現在のターゲット探索手法は、様々な環境への適応性を制限した、類似した領域の大規模なデータセットによるトレーニングに依存している。
本稿では,専門家の入力を利用してセマンティック・プライオリティのモデルを訓練するターゲット探索手法を提案する。
論文 参考訳（メタデータ） (2026-03-31T07:56:23Z) - BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing? [61.247730037229815]
BeyondSWEは2つの軸 – 解像度スコープと知識スコープ – に沿って既存の評価を拡張する包括的なベンチマークです。
外部知識の役割を解明するために,ディープ検索とコーディング能力を統合するフレームワークであるSearchSWEを開発した。
この作業は、現実的で挑戦的な評価ベンチマークと、より有能なコードエージェントに向けた研究を進めるための柔軟なフレームワークの両方を提供する。
論文 参考訳（メタデータ） (2026-03-03T17:52:01Z) - AmbiBench: Benchmarking Mobile GUI Agents Beyond One-Shot Instructions in the Wild [30.138230316314534]
本稿では,一方向の指示から双方向の意図のアライメントへ評価をシフトするために,指示明細の分類を取り入れた最初のベンチマークであるAmbiBenchを紹介する。
厳密なレビュープロトコルの下で,25のアプリケーションにまたがる240の生態学的に有効なタスクの厳密なデータセットを構築した。
また,MLLM-as-a-judgeマルチエージェントアーキテクチャを利用した自動フレームワークであるMUSEを開発した。
論文 参考訳（メタデータ） (2026-02-12T09:25:15Z) - GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。
深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。
主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
論文 参考訳（メタデータ） (2026-02-09T11:44:15Z) - Beyond Monolithic Architectures: A Multi-Agent Search and Knowledge Optimization Framework for Agentic Search [56.78490647843876]
エージェント検索は、大規模言語モデル(LLM)が推論とツールの使用をインターリーブできるようにすることによって、複雑な情報を探すための有望なパラダイムとして登場した。
本稿では,bfM-ASKを提案する。bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK。
論文 参考訳（メタデータ） (2026-01-08T08:13:27Z) - SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。
実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。
回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
論文 参考訳（メタデータ） (2025-11-29T09:18:39Z) - Toward Generalizable Evaluation in the LLM Era: A Survey Beyond Benchmarks [229.73714829399802]
この調査は、大規模言語モデルの台頭が評価に役立っている中核的な課題を調査する。
i) タスク固有のものから能力に基づく評価へと、知識、推論、指示に従うこと、マルチモーダル理解、安全性といったコア能力に関するベンチマークを再編成する。
この問題と、上記の2つのトランジションの中核的な課題を、メソッド、データセット、評価器、メトリクスの観点から検討する。
論文 参考訳（メタデータ） (2025-04-26T07:48:52Z) - TestAgent: Automatic Benchmarking and Exploratory Interaction for Evaluating LLMs in Vertical Domains [19.492393243160244]
大規模言語モデル(LLM)は、高度に専門化された垂直ドメインにデプロイされることが多い。
既存の垂直領域の評価は、通常、静的な単一ターンデータセットの労働集約的な構築に依存している。
垂直領域における自動ベンチマークと探索動的評価のためのフレームワークであるTestAgentを提案する。
論文 参考訳（メタデータ） (2024-10-15T11:20:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。