論文の概要: Can Language Beat Numerical Regression? Language-Based Multimodal Trajectory Prediction

• arxiv url: http://arxiv.org/abs/2403.18447v1
• Date: Wed, 27 Mar 2024 11:06:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 17:17:54.367875
• Title: Can Language Beat Numerical Regression? Language-Based Multimodal Trajectory Prediction
• Title（参考訳）: 言語は数値回帰に勝てるか?言語に基づく多モーダル軌道予測
• Authors: Inhwan Bae, Junoh Lee, Hae-Gon Jeon,
• Abstract要約: 言語モデルは、文脈理解と生成性能において印象的な能力を示してきた。 LMTraj (Language-based Multimodal Trajectory predictor) を提案する。 本稿では,言語に基づくモデルが,歩行者の軌道予測に有効なことを示し,既存の数値ベースの予測手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 23.45902601618188
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Language models have demonstrated impressive ability in context understanding and generative performance. Inspired by the recent success of language foundation models, in this paper, we propose LMTraj (Language-based Multimodal Trajectory predictor), which recasts the trajectory prediction task into a sort of question-answering problem. Departing from traditional numerical regression models, which treat the trajectory coordinate sequence as continuous signals, we consider them as discrete signals like text prompts. Specially, we first transform an input space for the trajectory coordinate into the natural language space. Here, the entire time-series trajectories of pedestrians are converted into a text prompt, and scene images are described as text information through image captioning. The transformed numerical and image data are then wrapped into the question-answering template for use in a language model. Next, to guide the language model in understanding and reasoning high-level knowledge, such as scene context and social relationships between pedestrians, we introduce an auxiliary multi-task question and answering. We then train a numerical tokenizer with the prompt data. We encourage the tokenizer to separate the integer and decimal parts well, and leverage it to capture correlations between the consecutive numbers in the language model. Lastly, we train the language model using the numerical tokenizer and all of the question-answer prompts. Here, we propose a beam-search-based most-likely prediction and a temperature-based multimodal prediction to implement both deterministic and stochastic inferences. Applying our LMTraj, we show that the language-based model can be a powerful pedestrian trajectory predictor, and outperforms existing numerical-based predictor methods. Code is publicly available at https://github.com/inhwanbae/LMTrajectory .
• Abstract（参考訳）: 言語モデルは、文脈理解と生成性能において印象的な能力を示してきた。 本稿では,言語基盤モデルの成功に触発されたLMTraj(Language-based Multimodal Trajectory predictor)を提案する。 トラジェクタ座標列を連続的な信号として扱う従来の数値回帰モデルとは別に,テキストプロンプトのような離散的な信号とみなす。 具体的には、まず軌道座標の入力空間を自然言語空間に変換する。 ここでは、歩行者の時系列軌跡全体をテキストプロンプトに変換し、画像キャプションを通してシーンイメージをテキスト情報として記述する。 変換された数値と画像データは、言語モデルで使用する質問応答テンプレートにラップされる。 次に、シーンコンテキストや歩行者間の社会的関係といった高レベルの知識の理解と推論において言語モデルを導くために、補助的なマルチタスク質問と回答を導入する。 次に、プロンプトデータで数値トークン化器を訓練する。 我々は、トークン化器が整数と十進部分を適切に分離することを奨励し、それを利用して言語モデルにおける連続する数間の相関を捉える。 最後に,数値トークン化器と質問応答プロンプトを用いて言語モデルを訓練する。 本稿では,ビーム探索に基づく最もよく似た予測と温度に基づくマルチモーダル予測を提案し,決定論的および確率的推論の両方を実装する。 LMTrajを応用すると、言語に基づくモデルは強力な歩行者軌道予測器となり、既存の数値ベースの予測手法よりも優れていることを示す。 コードはhttps://github.com/inhwanbae/LMTrajectory.comで公開されている。

関連論文リスト

• Understanding and Mitigating Tokenization Bias in Language Models [6.418593476658017]
  State-of-the-art言語モデルは自己回帰型であり、トークンとして知られるサブワード単位で動作する。 一般的な符号化方式は、より多くのトレーニングやデータで緩和できないサンプリングバイアスを引き起こすことを示す。 トークン化データに基づいて訓練された任意の言語モデルからバイアスのない推定値を得るための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:38:02Z)
• Unveiling Multilinguality in Transformer Models: Exploring Language Specificity in Feed-Forward Networks [12.7259425362286]
  多言語モデルがキー値記憶をどのように活用するかを検討する。 2つ以上の言語で訓練された自己回帰モデルに対して、すべてのニューロン(層全体)は全ての言語に等しく反応するのか? その結果,ネットワークの入力や出力に最も近い層は,中間層に比べて言語固有の振る舞いを示す傾向があることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T06:45:00Z)
• Bidirectional Representations for Low Resource Spoken Language Understanding [39.208462511430554]
  双方向リッチ符号化における音声符号化のための表現モデルを提案する。 このアプローチでは、表現を学習するために、マスク付き言語モデリングの目的を使用する。 得られたエンコーディングの性能は、複数のデータセットで比較できるモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-24T17:05:16Z)
• Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment [49.45399359826453]
  言語間の言語モデルは通常、多言語テキストやパラレル文の言語モデリングで事前訓練される。 本稿では,新たな言語間事前学習課題として認知単語アライメントを導入する。 実験結果から,本手法は各種データセットの言語間移動性を向上することが示された。
  論文  参考訳（メタデータ） (2021-06-11T13:36:01Z)
• Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
  中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。 文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。 本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-04-15T02:36:49Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。