論文の概要: TALoS: Enhancing Semantic Scene Completion via Test-time Adaptation on the Line of Sight

• arxiv url: http://arxiv.org/abs/2410.15674v2
• Date: Wed, 20 Nov 2024 06:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:37.689790
• Title: TALoS: Enhancing Semantic Scene Completion via Test-time Adaptation on the Line of Sight
• Title（参考訳）: taloS: 視線上のテスト時間適応によるセマンティックシーン補完の強化
• Authors: Hyun-Kurl Jang, Jihun Kim, Hyeokjun Kweon, Kuk-Jin Yoon,
• Abstract要約: 本稿では,セマンティック・シーン・コンプリートのための新しいテスト時間適応手法であるTALoSを紹介する。 我々は、ある瞬間に行われた観察が、別の瞬間にシーン完了のためのグラウンド・トゥルース(GT)として機能することに焦点を当てる。 本稿では,将来の観測が実現するまで更新を遅らせるモデルを用いた2つの最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 39.791443117263384
• License:
• Abstract: Semantic Scene Completion (SSC) aims to perform geometric completion and semantic segmentation simultaneously. Despite the promising results achieved by existing studies, the inherently ill-posed nature of the task presents significant challenges in diverse driving scenarios. This paper introduces TALoS, a novel test-time adaptation approach for SSC that excavates the information available in driving environments. Specifically, we focus on that observations made at a certain moment can serve as Ground Truth (GT) for scene completion at another moment. Given the characteristics of the LiDAR sensor, an observation of an object at a certain location confirms both 1) the occupation of that location and 2) the absence of obstacles along the line of sight from the LiDAR to that point. TALoS utilizes these observations to obtain self-supervision about occupancy and emptiness, guiding the model to adapt to the scene in test time. In a similar manner, we aggregate reliable SSC predictions among multiple moments and leverage them as semantic pseudo-GT for adaptation. Further, to leverage future observations that are not accessible at the current time, we present a dual optimization scheme using the model in which the update is delayed until the future observation is available. Evaluations on the SemanticKITTI validation and test sets demonstrate that TALoS significantly improves the performance of the pre-trained SSC model. Our code is available at https://github.com/blue-531/TALoS.
• Abstract（参考訳）: Semantic Scene Completion (SSC) は幾何学的補完とセマンティックセグメンテーションを同時に行うことを目的としている。 既存の研究によって実現された有望な成果にもかかわらず、タスクの本質的に不適切な性質は、多様な運転シナリオにおいて重大な課題をもたらす。 本稿では,運転環境における情報検索のための新しいテスト時間適応手法であるTALoSを紹介する。 具体的には、ある瞬間に行われた観測が、別の瞬間にシーン完了のためのグラウンド・トゥルース(GT)として機能することに焦点を当てる。 LiDARセンサの特性を考えると、ある位置における物体の観測は両方を確認する。 1) その場所の占有と 2)LiDARからその地点までの視線上の障害物がないこと。 taloSはこれらの観測を利用して、占有率と空虚性に関する自己監督を得、試験時間内に現場に適応するようモデルに誘導する。 同様に、複数のモーメント間で信頼できるSSC予測を集約し、それらを適応のための意味的な擬似GTとして活用する。 さらに、現在アクセスできない将来の観測を活用するために、将来の観測が利用可能になるまで更新が遅れるモデルを用いた双対最適化方式を提案する。 SemanticKITTIバリデーションとテストセットの評価は、TALoSが事前訓練されたSSCモデルの性能を大幅に改善することを示した。 私たちのコードはhttps://github.com/blue-531/TALoS.comで利用可能です。

関連論文リスト

• DeTra: A Unified Model for Object Detection and Trajectory Forecasting [68.85128937305697]
  提案手法は,2つのタスクの結合を軌道修正問題として定式化する。 この統合タスクに対処するために、オブジェクトの存在, ポーズ, マルチモーダルな将来の振る舞いを推測する精細化変換器を設計する。 実験では、我々のモデルはArgoverse 2 Sensor and Openデータセットの最先端性よりも優れています。
  論文  参考訳（メタデータ） (2024-06-06T18:12:04Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Anticipating the Unseen Discrepancy for Vision and Language Navigation [63.399180481818405]
  視覚言語ナビゲーションでは、エージェントは特定のターゲットに到達するために自然言語命令に従う必要がある。 目に見える環境と目に見えない環境の間に大きな違いがあるため、エージェントがうまく一般化することは困難である。 本研究では,テストタイムの視覚的整合性を促進することによって,未知の環境への一般化を学習する,未知の離散性予測ビジョンと言語ナビゲーション(DAVIS)を提案する。
  論文  参考訳（メタデータ） (2022-09-10T19:04:40Z)
• Zero-Shot Temporal Action Detection via Vision-Language Prompting [134.26292288193298]
  視覚言語プロンプト(STALE)を用いた新しいゼロショット時間行動検出モデルを提案する。 我々のモデルは最先端の代替品を著しく上回っている。 我々のモデルは、近年の強力な競合相手よりも監督的TADにおいて優れた結果をもたらす。
  論文  参考訳（メタデータ） (2022-07-17T13:59:46Z)
• Effective Sequence-to-Sequence Dialogue State Tracking [22.606650177804966]
  事前学習対象の選択は、状態追跡品質に有意な違いをもたらすことを示す。 また、状態追跡モデルに対して、テキスト要約のための予測に基づく事前学習目的であるPegasusについても検討する。 その結果,対話状態の追跡には,遠隔要約タスクの事前学習が驚くほど有効であることが判明した。
  論文  参考訳（メタデータ） (2021-08-31T17:27:59Z)
• Exploiting Position Bias for Robust Aspect Sentiment Classification [10.846244829247716]
  本稿では,位置バイアス,すなわち位置バイアスの重み付けと位置バイアスの落差を捉えるための2つのメカニズムを提案する。 提案手法は,現行モデルのロバスト性と有効性を大幅に改善する。
  論文  参考訳（メタデータ） (2021-05-29T04:41:09Z)
• A Closer Look at Temporal Sentence Grounding in Videos: Datasets and Metrics [70.45937234489044]
  2つの広く使用されているTSGVデータセット(Charades-STAとActivityNet Captions)を再編成し、トレーニング分割と異なるものにします。 基本的なIoUスコアを校正するために、新しい評価基準「dR@$n$,IoU@$m$」を導入する。 すべての結果は、再編成されたデータセットと新しいメトリクスがTSGVの進捗をよりよく監視できることを示している。
  論文  参考訳（メタデータ） (2021-01-22T09:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。