論文の概要: Segment Anything Model Can Not Segment Anything: Assessing AI Foundation
Model's Generalizability in Permafrost Mapping
- arxiv url: http://arxiv.org/abs/2401.08787v1
- Date: Tue, 16 Jan 2024 19:10:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 18:02:26.115931
- Title: Segment Anything Model Can Not Segment Anything: Assessing AI Foundation
Model's Generalizability in Permafrost Mapping
- Title（参考訳）: segment anything モデルは何でもセグメント化できない:永久凍土マッピングにおけるai基盤モデルの一般化可能性の評価
- Authors: Wenwen Li, Chia-Yu Hsu, Sizhe Wang, Yezhou Yang, Hyunho Lee, Anna
Liljedahl, Chandi Witharana, Yili Yang, Brendan M. Rogers, Samantha T.
Arundel, Matthew B. Jones, Kenton McHenry, Patricia Solis
- Abstract要約: 本稿では,AI基盤モデルとその定義特性を紹介する。
我々は、大規模AIビジョンモデル、特にMetaのセグメンション・アプライシング・モデル(SAM)の性能を評価する。
結果は、SAMには将来性はあるものの、AIの拡張された地形マッピングをサポートするための改善の余地があることを示している。
- 参考スコア（独自算出の注目度）: 19.307294875969827
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper assesses trending AI foundation models, especially emerging
computer vision foundation models and their performance in natural landscape
feature segmentation. While the term foundation model has quickly garnered
interest from the geospatial domain, its definition remains vague. Hence, this
paper will first introduce AI foundation models and their defining
characteristics. Built upon the tremendous success achieved by Large Language
Models (LLMs) as the foundation models for language tasks, this paper discusses
the challenges of building foundation models for geospatial artificial
intelligence (GeoAI) vision tasks. To evaluate the performance of large AI
vision models, especially Meta's Segment Anything Model (SAM), we implemented
different instance segmentation pipelines that minimize the changes to SAM to
leverage its power as a foundation model. A series of prompt strategies was
developed to test SAM's performance regarding its theoretical upper bound of
predictive accuracy, zero-shot performance, and domain adaptability through
fine-tuning. The analysis used two permafrost feature datasets, ice-wedge
polygons and retrogressive thaw slumps because (1) these landform features are
more challenging to segment than manmade features due to their complicated
formation mechanisms, diverse forms, and vague boundaries; (2) their presence
and changes are important indicators for Arctic warming and climate change. The
results show that although promising, SAM still has room for improvement to
support AI-augmented terrain mapping. The spatial and domain generalizability
of this finding is further validated using a more general dataset EuroCrop for
agricultural field mapping. Finally, we discuss future research directions that
strengthen SAM's applicability in challenging geospatial domains.
- Abstract（参考訳）: 本稿では,ai基盤モデル,特に新しいコンピュータビジョン基盤モデルとその自然景観特徴セグメンテーションにおける性能を評価する。
基礎モデルという用語は地理空間領域から急速に関心を集めてきたが、その定義はあいまいである。
そこで本研究ではまず,AI基盤モデルとその定義特性を紹介する。
大規模言語モデル(llms)が言語タスクの基礎モデルとして達成した膨大な成功を基盤として,地理空間人工知能(geoai)ビジョンタスクの基礎モデル構築の課題について述べる。
大規模AIビジョンモデル,特にMeta's Segment Anything Model(SAM)の性能を評価するために,SAMの変更を最小限に抑え,基盤モデルとしてのそのパワーを活用するために,さまざまなインスタンスセグメンテーションパイプラインを実装した。
予測精度、ゼロショット性能、微調整によるドメイン適応性の理論上の上限に関するsamのパフォーマンスをテストするための一連のプロンプト戦略が開発された。
1) これらの地形特徴は, 複雑な形成機構, 多様な形態, 曖昧な境界により, 人工的特徴よりも分断が困難であること, (2) 北極温暖化, 気候変動の指標として, それらの存在と変化が重要であること, について解析を行った。
結果は、SAMには将来性はあるものの、AIの拡張された地形マッピングをサポートするための改善の余地があることを示している。
この発見の空間的および領域的一般化性は、農業分野マッピングのためのより一般的なデータセットであるEuroCropを用いてさらに検証される。
最後に,地空間領域の挑戦におけるSAMの適用性を高める研究の方向性について論じる。
関連論文リスト
- Seismic Fault SAM: Adapting SAM with Lightweight Modules and 2.5D Strategy for Fault Detection [11.868792440783054]
本稿では,一般的な事前学習基盤モデルであるSAM(Segment Anything Model)を地震断層解釈に適用した地震断層SAMを提案する。
私たちの革新的なポイントは、軽量なAdapterモジュールの設計、トレーニング済みの重量のほとんどを凍結し、少数のパラメータのみを更新することです。
その結果,OISとODSの双方で既存の3次元モデルを上回る結果が得られた。
論文 参考訳（メタデータ） (2024-07-19T08:38:48Z) - GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。
GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。
本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文 参考訳（メタデータ） (2024-06-01T08:01:05Z) - ASAM: Boosting Segment Anything Model with Adversarial Tuning [9.566046692165884]
本稿では, 対角的チューニングにより基礎モデルの性能を増幅する新しい手法であるASAMを紹介する。
我々は,自然言語処理における実装の成功に触発された,自然対逆例の可能性を生かした。
本手法は, 対向例のフォトリアリズムを維持し, 元のマスクアノテーションとの整合性を確保する。
論文 参考訳（メタデータ） (2024-05-01T00:13:05Z) - Fine-tuning vision foundation model for crack segmentation in civil infrastructures [13.731957127190274]
セグメンテーションにおける基礎モデルを微調整するために、微調整法が採用される:セグメンション・アシング・モデル(SAM)
CrackSAMは、特に薄暗い照明、影、道路標識、建設継手、その他の干渉要因などの困難な条件下で、顕著な優位性を示す。
これらのクロスシナリオの結果は、基礎モデルの卓越したゼロショット能力を示し、土木工学におけるビジョンモデルを開発するための新しいアイデアを提供する。
論文 参考訳（メタデータ） (2023-12-07T11:39:11Z) - Assessment of a new GeoAI foundation model for flood inundation mapping [4.312965283062856]
そこで本稿は,IBM-NASAのPrithviによる地空間基盤モデルの性能評価を行い,地空間解析の重要課題である洪水浸水マッピングを支援する。
実験では、ベンチマークデータセットであるSen1Floods11を使用し、モデルの予測可能性、一般化可能性、転送可能性を評価する。
以上の結果から, 未確認領域におけるセグメンテーションにおけるPrithviモデルの性能上の優位性が示された。
論文 参考訳（メタデータ） (2023-09-25T19:50:47Z) - GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。
このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
論文 参考訳（メタデータ） (2023-06-06T16:16:05Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - Segment Anything in Non-Euclidean Domains: Challenges and Opportunities [133.49534701480914]
我々は,非ユークリッド領域内の多様なグラフデータを処理可能な基礎モデルの開発を目指す,新しいセグメンション・ノンユークリッド・アプライシング(SNA)パラダイムを探求する。
私たちは、データとタスクの観点から、ユークリッドと非ユークリッドのドメインの違いを理解することを含む、SAの概念をグラフ解析に適用する際に生じるユニークな課題に目を向けました。
我々は,SNAの課題に取り組むための予備的解決策をいくつか提示し,それらの限界を詳述するとともに,今後のSNA研究の道を開くためのいくつかの潜在的方向を示す。
論文 参考訳（メタデータ） (2023-04-23T10:01:34Z) - DA-VEGAN: Differentiably Augmenting VAE-GAN for microstructure
reconstruction from extremely small data sets [110.60233593474796]
DA-VEGANは2つの中心的なイノベーションを持つモデルである。
$beta$-variational autoencoderはハイブリッドGANアーキテクチャに組み込まれている。
このアーキテクチャに特化して、独自の差別化可能なデータ拡張スキームが開発されている。
論文 参考訳（メタデータ） (2023-02-17T08:49:09Z) - Towards Geospatial Foundation Models via Continual Pretraining [22.825065739563296]
資源コストと炭素の影響を最小限に抑えた高効率基礎モデルを構築するための新しいパラダイムを提案する。
まず、複数のソースからコンパクトだが多様なデータセットを構築し、GeoPileと呼ぶ特徴の多様性を促進する。
次に,大規模なImageNet-22kモデルからの継続事前学習の可能性について検討し,多目的連続事前学習パラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-09T07:39:02Z) - Toward Foundation Models for Earth Monitoring: Proposal for a Climate
Change Benchmark [95.19070157520633]
近年の自己スーパービジョンの進歩は、大量の教師なしデータ上で大規模なニューラルネットワークを事前訓練することで、下流タスクの一般化が著しく増加することを示している。
基礎モデルとして最近作られたそのようなモデルは、自然言語処理の分野に転換してきた。
気候変動に関連する様々な下流タスクからなる新しいベンチマークを開発することを提案する。
論文 参考訳（メタデータ） (2021-12-01T15:38:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。