論文の概要: ChatStitch: Visualizing Through Structures via Surround-View Unsupervised Deep Image Stitching with Collaborative LLM-Agents

• arxiv url: http://arxiv.org/abs/2503.14948v2
• Date: Fri, 23 May 2025 03:48:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 15:51:02.891161
• Title: ChatStitch: Visualizing Through Structures via Surround-View Unsupervised Deep Image Stitching with Collaborative LLM-Agents
• Title（参考訳）: ChatStitch:LLM-Agentsを用いた非教師なし深層画像ストレッチによる構造物の可視化
• Authors: Hao Liang, Zhipeng Dong, Kaixin Chen, Jiyuan Guo, Yufeng Yue, Yi Yang, Mengyin Fu,
• Abstract要約: ChatStitchは、サラウンドビューの人間と機械のコパーセプションシステムである。 同社は、外部デジタル資産と統合された自然言語コマンドを通じて、見えない盲点情報を公開している。 重なり合う境界を越える歪みの伝搬を抑制するため、ChatStitch は、サラウンドビュー非教師あり深層画像縫合法 SV-UDIS を提案する。
• 参考スコア（独自算出の注目度）: 21.294966569793516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surround-view perception has garnered significant attention for its ability to enhance the perception capabilities of autonomous driving vehicles through the exchange of information with surrounding cameras. However, existing surround-view perception systems are limited by inefficiencies in unidirectional interaction pattern with human and distortions in overlapping regions exponentially propagating into non-overlapping areas. To address these challenges, this paper introduces ChatStitch, a surround-view human-machine co-perception system capable of unveiling obscured blind spot information through natural language commands integrated with external digital assets. To dismantle the unidirectional interaction bottleneck, ChatStitch implements a cognitively grounded closed-loop interaction multi-agent framework based on Large Language Models. To suppress distortion propagation across overlapping boundaries, ChatStitch proposes SV-UDIS, a surround-view unsupervised deep image stitching method under the non-global-overlapping condition. We conducted extensive experiments on the UDIS-D, MCOV-SLAM open datasets, and our real-world dataset. Specifically, our SV-UDIS method achieves state-of-the-art performance on the UDIS-D dataset for 3, 4, and 5 image stitching tasks, with PSNR improvements of 9\%, 17\%, and 21\%, and SSIM improvements of 8\%, 18\%, and 26\%, respectively.
• Abstract（参考訳）: 周囲の視界は、周囲のカメラと情報を交換することで、自動運転車の知覚能力を高める能力において大きな注目を集めている。 しかし、既存のサラウンドビュー認識システムは、人間との一方向の相互作用パターンの非効率性と、非重複領域に指数的に伝播する重なり合う領域の歪みによって制限される。 これらの課題に対処するために,外部デジタル資産と統合された自然言語コマンドを通じて,不明瞭な盲点情報を公開することができるサラウンドビューヒューマンマシン・コパーセプションシステムChatStitchを紹介する。 一方向の相互作用ボトルネックを解消するため、ChatStitchは大規模言語モデルに基づく認知的に基盤付けられたクローズドループインタラクションマルチエージェントフレームワークを実装している。 重なり合う境界を越える歪み伝搬を抑制するため,ChatStitch は非球面重なり条件下でのサラウンドビュー非教師なし深層画像縫合法 SV-UDIS を提案する。 UDIS-D, MCOV-SLAMオープンデータセット, 実世界のデータセットについて広範な実験を行った。 具体的には,3,4,5画像の縫合作業において,SV-UDIS法は,PSNRの改善が9\%,17\%,21\%,SSIMの改善が8\%,18\%,26\%である。

関連論文リスト

• ImageScope: Unifying Language-Guided Image Retrieval via Large Multimodal Model Collective Reasoning [62.61187785810336]
  ImageScopeは、トレーニング不要で3段階のフレームワークで、言語誘導の画像検索タスクを統合する。 最初の段階では,様々な意味的粒度のレベルにまたがって探索意図を合成することにより,フレームワークの堅牢性を向上させる。 第2段階と第3段階において、述語命題を局所的に検証し、一括評価を行うことにより、検索結果を反映する。
  論文  参考訳（メタデータ） (2025-03-13T08:43:24Z)
• Freeview Sketching: View-Aware Fine-Grained Sketch-Based Image Retrieval [85.73149096516543]
  微細スケッチベース画像検索(FG-SBIR)におけるスケッチ作成時の視点選択について検討する。 パイロットスタディでは、クエリスケッチがターゲットインスタンスと異なる場合、システムの苦労を強調している。 これを解決するために、ビューに依存しないタスクとビュー固有のタスクの両方をシームレスに収容するビューアウェアシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-01T21:20:44Z)
• Open-World Human-Object Interaction Detection via Multi-modal Prompts [26.355054079885463]
  MP-HOIは多モードのPromptベースの強力なHOI検出器であり、オープンセットの一般化のためのテキスト記述と、説明の曖昧さを扱う視覚的見本の両方を活用するように設計されている。 MP-HOIは一般のHOI検出器として機能し、既存の専門家モデルのHOI語彙を30倍以上上回った。
  論文  参考訳（メタデータ） (2024-06-11T13:01:45Z)
• UVCPNet: A UAV-Vehicle Collaborative Perception Network for 3D Object Detection [11.60579201022641]
  地上共同作業に特化して設計された枠組みを提案する。 研究のためにV2U-COOという仮想データセットを開発した。 第2に、ターゲット情報を調整するために、クロスドメイン・クロスアダプティブ(CDCA)モジュールを設計する。 第3に,より正確な深度推定結果を得るために,協調深度最適化(CDO)モジュールを導入する。
  論文  参考訳（メタデータ） (2024-06-07T05:25:45Z)
• V2X-AHD:Vehicle-to-Everything Cooperation Perception via Asymmetric Heterogenous Distillation Network [13.248981195106069]
  車両間協調認識システム(V2X-AHD)を提案する。 この研究によると、V2X-AHDは3次元物体検出の精度を効果的に向上し、ネットワークパラメータの数を削減できる。
  論文  参考訳（メタデータ） (2023-10-10T13:12:03Z)
• Two-stream Multi-level Dynamic Point Transformer for Two-person Interaction Recognition [45.0131792009999]
  本稿では,2人インタラクション認識のための2ストリームマルチレベル動的ポイント変換器を提案する。 本モデルでは,局所空間情報,外観情報,動作情報を組み込むことで,対人インタラクションを認識するという課題に対処する。 我々のネットワークは、ほとんどの標準的な評価設定において最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-07-22T03:51:32Z)
• WEAR: An Outdoor Sports Dataset for Wearable and Egocentric Activity Recognition [22.988658969594276]
  視覚と慣性に基づく人間活動認識(HAR)のための屋外スポーツデータセットWEARを紹介する。 合計18種類のワークアウト活動を行う22人の被験者のデータを,11箇所の外部で記録した同期慣性(アクセラレーション)とカメラ(エゴセントリックビデオ)データを用いて収集した。 ベンチマークの結果,センサ配置により,各モードが予測性能に相補的な強度と弱点を与えることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T09:31:07Z)
• Efficient Self-supervised Vision Transformers for Representation Learning [86.57557009109411]
  疎密な自己意識を持つマルチステージアーキテクチャは、モデリングの複雑さを著しく低減できることを示す。 そこで本研究では,モデルがよりきめ細かな領域依存を捕捉できるような,領域マッチングの事前学習タスクを提案する。 この2つの手法を組み合わせることで,ImageNet線形プローブ評価において,EsViTは81.3%のトップ1を達成した。
  論文  参考訳（メタデータ） (2021-06-17T19:57:33Z)
• TVDIM: Enhancing Image Self-Supervised Pretraining via Noisy Text Data [13.68491474904529]
  テキスト強化型ビジュアルディープインフォマティクス(TVDIM)を提案する。 自己教師型学習の中核となる考え方は、複数の視点から抽出された特徴間の相互情報の最大化である。 TVDIMは、同じ画像の集合を処理する際に、従来の視覚的自己監督手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-03T12:36:01Z)
• Neighbourhood-guided Feature Reconstruction for Occluded Person Re-Identification [45.704612531562404]
  本研究では,周辺情報をギャラリーのイメージセットでフル活用し,埋蔵部品の特徴表現の再構築を提案する。 大規模なOccluded-DukeMTMCベンチマークでは,64.2%のmAPと67.6%のランク1精度を達成した。
  論文  参考訳（メタデータ） (2021-05-16T03:53:55Z)
• Stereo Matching by Self-supervision of Multiscopic Vision [65.38359887232025]
  カメラ位置の整列で撮影した複数の画像を利用したステレオマッチングのための新しい自己監視フレームワークを提案する。 ネットワークを最適化するために、クロスフォトメトリックロス、不確実性を認識した相互監督損失、および新しい平滑性損失が導入されます。 我々のモデルは、KITTIデータセット上の以前の教師なし手法よりも、より良い不均一性マップを得る。
  論文  参考訳（メタデータ） (2021-04-09T02:58:59Z)
• Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data Augmentation [77.60050239225086]
  実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。 私達のアプローチは人間の相互作用なしで完全に自動です。 VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T03:03:38Z)
• Gradient-Induced Co-Saliency Detection [81.54194063218216]
  Co-SOD(Co-saliency Detection)は、一般的な唾液前景を関連画像のグループに分割することを目的としている。 本稿では,人間の行動にインスパイアされた,勾配誘導型共分散検出法を提案する。
  論文  参考訳（メタデータ） (2020-04-28T08:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。