論文の概要: Self-supervised Video Instance Segmentation Can Boost Geographic Entity Alignment in Historical Maps
- arxiv url: http://arxiv.org/abs/2411.17425v1
- Date: Tue, 26 Nov 2024 13:31:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-27 13:34:51.162949
- Title: Self-supervised Video Instance Segmentation Can Boost Geographic Entity Alignment in Historical Maps
- Title（参考訳）: 自己教師付きビデオインスタンスセグメンテーションは、歴史的地図における地理的エンティティアライメントを高める
- Authors: Xue Xia, Randall Balestriero, Tao Zhang, Lorenz Hurni,
- Abstract要約: ビデオ・インスタンス・セグメンテーション(VIS)を用いた歴史的地図における地理的実体のセグメンテーションとアソシエーションを組み合わせた新しいアプローチを提案する。
この課題を軽減するために,歴史地図上でのVIS性能を向上させる自己教師付き学習(SSL)技術について検討する。
- 参考スコア（独自算出の注目度）: 16.35356981558991
- License:
- Abstract: Tracking geographic entities from historical maps, such as buildings, offers valuable insights into cultural heritage, urbanization patterns, environmental changes, and various historical research endeavors. However, linking these entities across diverse maps remains a persistent challenge for researchers. Traditionally, this has been addressed through a two-step process: detecting entities within individual maps and then associating them via a heuristic-based post-processing step. In this paper, we propose a novel approach that combines segmentation and association of geographic entities in historical maps using video instance segmentation (VIS). This method significantly streamlines geographic entity alignment and enhances automation. However, acquiring high-quality, video-format training data for VIS models is prohibitively expensive, especially for historical maps that often contain hundreds or thousands of geographic entities. To mitigate this challenge, we explore self-supervised learning (SSL) techniques to enhance VIS performance on historical maps. We evaluate the performance of VIS models under different pretraining configurations and introduce a novel method for generating synthetic videos from unlabeled historical map images for pretraining. Our proposed self-supervised VIS method substantially reduces the need for manual annotation. Experimental results demonstrate the superiority of the proposed self-supervised VIS approach, achieving a 24.9\% improvement in AP and a 0.23 increase in F1 score compared to the model trained from scratch.
- Abstract（参考訳）: 建物などの歴史的地図から地理的実体を追跡することは、文化遺産、都市化のパターン、環境の変化、そして様々な歴史的研究の成果に対する貴重な洞察を提供する。
しかし、これらの実体を多様な地図にリンクすることは、研究者にとって永続的な課題である。
伝統的に、これは2段階のプロセスによって対処されてきた:個々のマップ内のエンティティを検出し、ヒューリスティックベースの後処理ステップを介してそれらを関連付ける。
本稿では,ビデオ・インスタンス・セグメンテーション(VIS)を用いた歴史的地図における地理的実体のセグメンテーションとアソシエーションを組み合わせた新しいアプローチを提案する。
この方法は、地理的エンティティアライメントを著しく合理化し、自動化を強化する。
しかし、VESモデルの高品質なビデオフォーマットトレーニングデータを取得することは、特に数百から数千の地理的実体を含む歴史的地図では、非常に高価である。
この課題を軽減するために,歴史地図上でのVIS性能を向上させる自己教師付き学習(SSL)技術について検討する。
異なる事前学習構成下でのVISモデルの性能評価を行い、未ラベルの歴史的地図画像から合成ビデオを生成する新しい方法を提案する。
提案手法は手動アノテーションの必要性を大幅に低減する。
実験の結果,提案した自己教師型VISアプローチの優位性が示され,APは24.9%向上し,F1スコアは0.23上昇した。
関連論文リスト
- Semantic Segmentation for Sequential Historical Maps by Learning from Only One Map [0.4915744683251151]
深層学習に基づくセマンティックセグメンテーションを用いたデジタル化の自動化手法を提案する。
このプロセスにおける重要な課題は、ディープニューラルネットワークのトレーニングに必要な地味なアノテーションの欠如である。
モデル微調整のための弱教師付き年齢追跡戦略を導入する。
論文 参考訳（メタデータ） (2025-01-03T14:55:22Z) - MapSAM: Adapting Segment Anything Model for Automated Feature Detection in Historical Maps [6.414068793245697]
我々は,パラメータ効率のよい微調整戦略であるMapSAMを紹介した。
具体的には、画像エンコーダにドメイン固有の知識を統合するために、Weight-Decomposed Low-Rank Adaptation (DoRA) を用いる。
手動入力を必要としない自動プロンプト生成プロセスを開発した。
論文 参考訳（メタデータ） (2024-11-11T13:18:45Z) - TMT-VIS: Taxonomy-aware Multi-dataset Joint Training for Video Instance Segmentation [48.75470418596875]
大規模データセットのトレーニングは、ビデオインスタンスセグメンテーションのパフォーマンスを高めることができるが、VISのデータセットは労働コストが高いためスケールアップが難しい。
私たちが持っているものは、多数の独立した提出された特定のデータセットであり、データ量と多様性を高めるためにデータセットの集合をまたいだモデルを共同でトレーニングすることが魅力です。
我々は、YouTube-VIS 2019、YouTube-VIS 2021、OVIS、UVOの4つの人気で挑戦的なベンチマークで、広範囲に評価を行っている。
本モデルでは,ベースラインソリューションよりも大幅に改善され,すべてのベンチマークで新たな最先端レコードが設定される。
論文 参考訳（メタデータ） (2023-12-11T18:50:09Z) - Weakly-Supervised Action Localization by Hierarchically-structured
Latent Attention Modeling [19.683714649646603]
弱教師付きアクションローカライゼーションは、ビデオレベルのラベルのみを持つ未トリミングビデオにおけるアクションインスタンスを認識およびローカライズすることを目的としている。
既存のモデルのほとんどはマルチインスタンス学習(MIL)に依存しており、ラベル付きバッグを分類することでラベル付きインスタンスの予測を監督している。
本稿では,特徴セマンティクスの時間的変動を学習するために,新しい注意に基づく階層構造潜在モデルを提案する。
論文 参考訳（メタデータ） (2023-08-19T08:45:49Z) - TAPIR: Tracking Any Point with per-frame Initialization and temporal
Refinement [64.11385310305612]
本稿では,ビデオシーケンスを通して任意の物理面上の問合せ点を効果的に追跡する,TAP(Tracking Any Point)の新しいモデルを提案する。
提案手法では,(1)他のフレームの問合せ点に対する適切な候補点マッチングを独立に特定するマッチング段階と,(2)局所的相関に基づいてトラジェクトリと問合せの両方を更新する改良段階の2段階を用いる。
結果として得られたモデルは、DAVISにおける平均約20%の絶対平均ジャカード(AJ)改善によって示されるように、TAP-Vidベンチマークにおける大きなマージンで、すべてのベースライン手法を上回ります。
論文 参考訳（メタデータ） (2023-06-14T17:07:51Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳（メタデータ） (2023-03-16T00:06:28Z) - Cross-view Geo-localization via Learning Disentangled Geometric Layout
Correspondence [11.823147814005411]
クロスビュージオローカライゼーションは、参照ジオタグ付き空中画像データベースとマッチングすることで、クエリーグラウンド画像の位置を推定することを目的としている。
最近の研究は、クロスビューなジオローカライゼーションベンチマークにおいて顕著な進歩を遂げている。
しかし、既存の手法は依然としてクロスエリアベンチマークのパフォーマンスの低下に悩まされている。
論文 参考訳（メタデータ） (2022-12-08T04:54:01Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳（メタデータ） (2022-07-17T07:05:39Z) - Neural networks for semantic segmentation of historical city maps:
Cross-cultural performance and the impact of figurative diversity [0.0]
畳み込みニューラルネットワークに基づく歴史都市地図のセマンティックセグメンテーションモデルを提案する。
これらのネットワークは、非常に大きな比喩的多様性のマップデータを効率よく意味的にセグメント化できることを示す。
論文 参考訳（メタデータ） (2021-01-29T09:08:12Z) - Naive-Student: Leveraging Semi-Supervised Learning in Video Sequences
for Urban Scene Segmentation [57.68890534164427]
本研究では,未ラベル映像シーケンスと追加画像の半教師付き学習を利用して,都市景観セグメンテーションの性能を向上させることができるかどうかを問う。
我々は単にラベルのないデータに対して擬似ラベルを予測し、人間の注釈付きデータと擬似ラベル付きデータの両方でその後のモデルを訓練する。
我々のNaive-Studentモデルは、このような単純で効果的な反復的半教師付き学習で訓練され、3つのCityscapesベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2020-05-20T18:00:05Z) - A Transfer Learning approach to Heatmap Regression for Action Unit
intensity estimation [50.261472059743845]
アクション・ユニット(英: Action Units、AUs)は、幾何学に基づく原子性顔面筋運動である。
本稿では,その位置と強度を共同で推定する新しいAUモデリング問題を提案する。
ヒートマップは、所定の空間的位置でAUが発生するか否かをモデル化する。
論文 参考訳（メタデータ） (2020-04-14T16:51:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。