論文の概要: Universal Retrieval for Multimodal Trajectory Modeling

• arxiv url: http://arxiv.org/abs/2506.22056v1
• Date: Fri, 27 Jun 2025 09:50:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.157143
• Title: Universal Retrieval for Multimodal Trajectory Modeling
• Title（参考訳）: マルチモーダル軌道モデリングのためのユニバーサル検索
• Authors: Xuan Zhang, Ziyan Jiang, Rui Meng, Yifei Leng, Zhenbang Xiao, Zora Zhiruo Wang, Yanyi Shang, Dehan Kong,
• Abstract要約: 軌道データは、AIエージェント能力を向上する大きな可能性を秘めている。 本稿では,ユニバーサル検索とエージェント中心軌道モデリングのギャップを埋めるマルチモーダル軌道検索手法を提案する。
• 参考スコア（独自算出の注目度）: 12.160448446091607
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Trajectory data, capturing human actions and environmental states across various modalities, holds significant potential for enhancing AI agent capabilities, particularly in GUI environments. However, how to model the representation of trajectory-level data presents a significant challenge that has not been systematically addressed amid explosive trajectory data growth. In this work, we introduce Multimodal Trajectory Retrieval, bridging the gap between universal retrieval and agent-centric trajectory modeling. We construct the Unified Agent Trajectory Dataset (UATD) from annotated demonstrations and states across diverse real-world scenarios. Based on this, we present GAE-Bench, a benchmark containing a large number of trajectory-based retrieval pairs. In addition, we propose GAE-Retriever, a multimodal retrieval framework that adopts vision-language models and incorporates optimized contrastive learning through a token selection and the GradCache mechanism. Comprehensive evaluations across multiple datasets show that GAE-Retriever consistently outperforms strong baselines in retrieval recall, highlighting its effectiveness in advancing multimodal trajectory retrieval.
• Abstract（参考訳）: 軌道データ、人間の行動や環境状態を様々なモードで捉え、特にGUI環境でAIエージェントの能力を増強する大きな可能性を秘めている。 しかし、軌道レベルのデータの表現をモデル化する方法は、爆発的な軌道データ成長の中で体系的に対処されていない重要な課題を示す。 本稿では,ユニバーサル検索とエージェント中心軌道モデリングのギャップを埋めるマルチモーダル軌道検索手法を提案する。 我々は、さまざまな実世界のシナリオにまたがる注釈付きデモンストレーションと状態から、統一エージェント軌道データセット(UATD)を構築した。 これに基づいて,多数の軌道に基づく探索ペアを含むベンチマークであるGAE-Benchを提案する。 さらに,視覚言語モデルを採用し,トークン選択とGradCache機構を通じて最適化されたコントラスト学習を取り入れたマルチモーダル検索フレームワークであるGAE-Retrieverを提案する。 複数のデータセットにわたる総合的な評価は、GAE-Retrieverが検索リコールにおいて強いベースラインを一貫して上回り、マルチモーダル軌道検索の進歩におけるその効果を強調していることを示している。

関連論文リスト

• Large Language Model as Universal Retriever in Industrial-Scale Recommender System [27.58251380192748]
  本稿では,Large Language Models (LLM) が汎用検索として機能し,生成検索フレームワーク内で複数の目的を処理可能であることを示す。 また,モデルの学習性,識別性,伝達性を向上させるために行列分解を導入する。 我々のUniversal Retrieval Model(URM)は、数千万の候補の計算から適応的に集合を生成することができる。
  論文  参考訳（メタデータ） (2025-02-05T09:56:52Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• Adapting to Non-Stationary Environments: Multi-Armed Bandit Enhanced Retrieval-Augmented Generation on Knowledge Graphs [23.357843519762483]
  近年の研究では、検索-拡張生成フレームワークと知識グラフを組み合わせることで、大規模言語モデルの推論能力を強力に向上することが示されている。 我々は多目的帯域拡張RAGフレームワークを導入し、多様な機能を持つ複数の検索手法をサポートする。 本手法は,定常環境下での最先端性能を達成しつつ,非定常環境でのベースライン手法を著しく向上させる。
  論文  参考訳（メタデータ） (2024-12-10T15:56:03Z)
• AgentOhana: Design Unified Data and Training Pipeline for Effective Agent Learning [98.26836657967162]
  textbfAgentOhanaは、さまざまなシナリオにまたがって、異なる環境からエージェントのトラジェクトリを集約する。 AIエージェント用に調整された大規模なアクションモデルである textbfxLAM-v0.1 は、さまざまなベンチマークで例外的なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-23T18:56:26Z)
• Mutual Information Regularization for Weakly-supervised RGB-D Salient Object Detection [33.210575826086654]
  弱教師付きRGB-Dサルエント物体検出モデルを提案する。 モーダル相互情報正規化による効果的なマルチモーダル表現学習に着目した。
  論文  参考訳（メタデータ） (2023-06-06T12:36:57Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)
• Deep Multimodal Fusion for Generalizable Person Re-identification [15.250738959921872]
  DMF(ディープ・マルチモーダル・フュージョン)は、個人再識別タスクの一般的なシナリオのためのディープ・マルチモーダル・フュージョン・ネットワークである。 事前学習段階における特徴表現学習を支援するために、リッチな意味知識が導入される。 実世界の分散アライメントのための事前訓練されたモデルを微調整するために、現実的なデータセットが採用されている。
  論文  参考訳（メタデータ） (2022-11-02T07:42:48Z)
• Entity-Graph Enhanced Cross-Modal Pretraining for Instance-level Product Retrieval [152.3504607706575]
  本研究の目的は, 細粒度製品カテゴリを対象とした, 弱制御型マルチモーダル・インスタンスレベルの製品検索である。 まず、Product1Mデータセットをコントリビュートし、2つの実際のインスタンスレベルの検索タスクを定義します。 我々は、マルチモーダルデータから重要な概念情報を組み込むことができるより効果的なクロスモーダルモデルを訓練するために活用する。
  論文  参考訳（メタデータ） (2022-06-17T15:40:45Z)
• Universal-RCNN: Universal Object Detector via Transferable Graph R-CNN [117.80737222754306]
  我々はUniversal-RCNNと呼ばれる新しいユニバーサルオブジェクト検出器を提案する。 まず、すべてのカテゴリの高レベルなセマンティック表現を統合することで、グローバルなセマンティックプールを生成する。 ドメイン内推論モジュールは、空間認識GCNによってガイドされる1つのデータセット内のスパースグラフ表現を学習し、伝播する。
  論文  参考訳（メタデータ） (2020-02-18T07:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。