論文の概要: Context-Aware Human Behavior Prediction Using Multimodal Large Language Models: Challenges and Insights

• arxiv url: http://arxiv.org/abs/2504.00839v1
• Date: Tue, 01 Apr 2025 14:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:19:55.175918
• Title: Context-Aware Human Behavior Prediction Using Multimodal Large Language Models: Challenges and Insights
• Title（参考訳）: マルチモーダル大言語モデルを用いた文脈認識型人間行動予測:課題と展望
• Authors: Yuchen Liu, Lino Lerch, Luigi Palmieri, Andrey Rudenko, Sebastian Koch, Timo Ropinski, Marco Aiello,
• Abstract要約: 本研究では,事前学習したMLLMを文脈を考慮した人間の行動予測に応用する体系的解析手法を提案する。 我々のフレームワークは、ターゲットフレームにおける人間の振る舞いを予測する際に、92.8%のセマンティック類似性と66.1%の正確なラベル精度に達することができる。
• 参考スコア（独自算出の注目度）: 12.87962735613466
• License:
• Abstract: Predicting human behavior in shared environments is crucial for safe and efficient human-robot interaction. Traditional data-driven methods to that end are pre-trained on domain-specific datasets, activity types, and prediction horizons. In contrast, the recent breakthroughs in Large Language Models (LLMs) promise open-ended cross-domain generalization to describe various human activities and make predictions in any context. In particular, Multimodal LLMs (MLLMs) are able to integrate information from various sources, achieving more contextual awareness and improved scene understanding. The difficulty in applying general-purpose MLLMs directly for prediction stems from their limited capacity for processing large input sequences, sensitivity to prompt design, and expensive fine-tuning. In this paper, we present a systematic analysis of applying pre-trained MLLMs for context-aware human behavior prediction. To this end, we introduce a modular multimodal human activity prediction framework that allows us to benchmark various MLLMs, input variations, In-Context Learning (ICL), and autoregressive techniques. Our evaluation indicates that the best-performing framework configuration is able to reach 92.8% semantic similarity and 66.1% exact label accuracy in predicting human behaviors in the target frame.
• Abstract（参考訳）: 共有環境における人間行動の予測は、安全で効率的な人間とロボットの相互作用に不可欠である。 従来のデータ駆動型メソッドは、ドメイン固有のデータセット、アクティビティタイプ、予測地平線で事前トレーニングされている。 対照的に、最近のLLM(Large Language Models)のブレークスルーは、様々な人間の活動を記述し、あらゆる文脈で予測するオープンエンドのクロスドメインの一般化を約束している。 特に、MLLM(Multimodal LLM)は、様々なソースからの情報を統合することができ、より文脈的認識とシーン理解の改善を実現している。 予測に汎用MLLMを直接適用することの難しさは、大きな入力シーケンスを処理する能力の制限、設計の迅速化への敏感さ、高価な微調整などにある。 本稿では,事前学習したMLLMを文脈認識型人間の行動予測に適用する体系的分析について述べる。 そこで本研究では,MLLM,入力のバリエーション,インコンテキスト学習(ICL),自己回帰的手法のベンチマークを行うモジュール型マルチモーダルヒューマンアクティビティ予測フレームワークを提案する。 評価の結果,最も優れたフレームワーク構成は,対象フレームにおける人間の行動を予測する上で,92.8%のセマンティックな類似性と66.1%の正確なラベル精度に達することが示唆された。

関連論文リスト

• Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
  微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。 一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
  論文  参考訳（メタデータ） (2024-11-17T01:16:37Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
  State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。 このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-06-13T11:33:30Z)
• LLM Processes: Numerical Predictive Distributions Conditioned on Natural Language [35.84181171987974]
  我々のゴールは、数値データを処理し、任意の場所で確率的予測を行うレグレッションモデルを構築することである。 まず、大規模言語モデルから明示的で一貫性のある数値予測分布を抽出する戦略を探求する。 本研究では,テキストを数値予測に組み込む能力を示し,予測性能を改善し,定性的な記述を反映した定量的な構造を与える。
  論文  参考訳（メタデータ） (2024-05-21T15:13:12Z)
• Traj-LLM: A New Exploration for Empowering Trajectory Prediction with Pre-trained Large Language Models [12.687494201105066]
  本稿では,Traj-LLMを提案する。Large Language Models (LLMs) を用いて,エージェントの過去の/観測された軌跡やシーンセマンティクスから将来の動きを生成する可能性について検討する。 LLMの強力な理解能力は、ハイレベルなシーン知識とインタラクティブな情報のスペクトルを捉えている。 人為的な車線焦点認知機能を模倣し,先駆的なMambaモジュールを用いた車線認識確率論的学習を導入する。
  論文  参考訳（メタデータ） (2024-05-08T09:28:04Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Benchmarking Sequential Visual Input Reasoning and Prediction in Multimodal Large Language Models [21.438427686724932]
  本稿では,MLLMの予測推論能力を様々なシナリオで評価する新しいベンチマークを提案する。 本ベンチマークでは,抽象パターン推論,人間活動予測,物理的相互作用予測という3つの重要な領域を対象としている。 実験により,提案したベンチマークの音質と評価方法が検証された。
  論文  参考訳（メタデータ） (2023-10-20T13:14:38Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Where Would I Go Next? Large Language Models as Human Mobility Predictors [21.100313868232995]
  人間の移動データを解析するためのLLMの言語理解と推論能力を活用する新しい手法 LLM-Mob を提案する。 本手法の総合評価により,LLM-Mobは正確かつ解釈可能な予測を行うのに優れていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-08-29T10:24:23Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
  本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。 本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。 我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
  論文  参考訳（メタデータ） (2020-07-07T17:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。