論文の概要: Foundation Model or Finetune? Evaluation of few-shot semantic segmentation for river pollution

• arxiv url: http://arxiv.org/abs/2409.03754v1
• Date: Thu, 5 Sep 2024 17:59:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 19:33:34.803781
• Title: Foundation Model or Finetune? Evaluation of few-shot semantic segmentation for river pollution
• Title（参考訳）: ファンデーションモデルかファインチューンか? : 河川汚染に対する少数ショットセマンティックセマンティックセグメンテーションの評価
• Authors: Marga Don, Stijn Pinson, Blanca Guillen Cebrian, Yuki M. Asano,
• Abstract要約: ファンデーションモデル(FM)はAIの研究の一般的なトピックである。 本研究では,FMの性能を,セマンティックセグメンテーションのタスクにおける微調整された教師付きモデルと比較する。 微調整されたモデルは、データが不足している場合でも、テスト対象のFMより一貫して優れています。
• 参考スコア（独自算出の注目度）: 16.272314073324626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models (FMs) are a popular topic of research in AI. Their ability to generalize to new tasks and datasets without retraining or needing an abundance of data makes them an appealing candidate for applications on specialist datasets. In this work, we compare the performance of FMs to finetuned pre-trained supervised models in the task of semantic segmentation on an entirely new dataset. We see that finetuned models consistently outperform the FMs tested, even in cases were data is scarce. We release the code and dataset for this work on GitHub.
• Abstract（参考訳）: ファンデーションモデル(FM)はAIの研究の一般的なトピックである。 大量のデータをリトレーニングしたり必要としたりすることなく、新しいタスクやデータセットに一般化できるため、スペシャリストデータセット上のアプリケーションには魅力的な候補となる。 本研究では,全く新しいデータセット上でのセマンティックセグメンテーションのタスクにおいて,FMの性能と訓練済みの教師付きモデルを比較した。 微調整されたモデルは、データが不足している場合でも、テスト対象のFMより一貫して優れています。 この作業のためのコードとデータセットをGitHubでリリースしています。

関連論文リスト

• Data Pruning in Generative Diffusion Models [2.0111637969968]
  生成モデルは、データの基盤となる分布を推定することを目的としている。 大規模データセットにおける冗長データやノイズデータの排除は,特に戦略的に行う場合,特に有益であることを示す。
  論文  参考訳（メタデータ） (2024-11-19T14:13:25Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Can Foundation Models Wrangle Your Data? [13.11923018654058]
  ファンデーションモデル(ファンデーションモデル、FM)は、タスク固有の微調整なしで新しいタスクに一般化できる大規模なデータコーパスに基づいて訓練されたモデルである。 本稿では,FMの未探索領域であるクリーニングや統合といった古典的なデータタスクを理解することを目的としている。 大規模なFMは,データ処理の訓練を受けなくても,データのクリーニングや統合作業において,SoTAのパフォーマンスを一般化し,達成できることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T00:53:43Z)
• InPars: Data Augmentation for Information Retrieval using Large Language Models [5.851846467503597]
  本研究では,大規模な事前学習型言語モデルの,情報検索タスクのための合成データ生成機能を利用する。 我々は、教師なしデータセットのみに微調整されたモデルが、BM25のような強力なベースラインより優れていることを示す。 教師付きデータと我々の合成データの両方に微調整されたレトリバーは、教師付きデータにのみ微調整されたモデルよりも優れたゼロショット転送を実現する。
  論文  参考訳（メタデータ） (2022-02-10T16:52:45Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Dataset Cartography: Mapping and Diagnosing Datasets with Training Dynamics [118.75207687144817]
  我々はデータセットを特徴付け、診断するモデルベースのツールであるData Mapsを紹介した。 私たちは、トレーニング中の個々のインスタンス上でのモデルの振る舞いという、ほとんど無視された情報のソースを活用しています。 以上の結果から,データ量から品質へのフォーカスの変化は,ロバストなモデルとアウト・オブ・ディストリビューションの一般化に繋がる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-09-22T20:19:41Z)
• Adversarial Filters of Dataset Biases [96.090959788952]
  大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。 それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。 このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
  論文  参考訳（メタデータ） (2020-02-10T21:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。