論文の概要: SLPT: Selective Labeling Meets Prompt Tuning on Label-Limited Lesion Segmentation

• arxiv url: http://arxiv.org/abs/2308.04911v1
• Date: Wed, 9 Aug 2023 12:22:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 13:55:03.702902
• Title: SLPT: Selective Labeling Meets Prompt Tuning on Label-Limited Lesion Segmentation
• Title（参考訳）: SLPT: Label-Limited Lesion Segmentation によるprompt Tuning
• Authors: Fan Bai, Ke Yan, Xiaoyu Bai, Xinyu Mao, Xiaoli Yin, Jingren Zhou, Yu Shi, Le Lu, Max Q.-H. Meng
• Abstract要約: 本稿では,限定ラベルの性能向上のために,選択的ラベリングと即時チューニングを組み合わせたフレームワークを提案する。 肝腫瘍の分節化について検討し, 従来の微調整を6%程度で達成した。
• 参考スコア（独自算出の注目度）: 57.37875162629063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical image analysis using deep learning is often challenged by limited labeled data and high annotation costs. Fine-tuning the entire network in label-limited scenarios can lead to overfitting and suboptimal performance. Recently, prompt tuning has emerged as a more promising technique that introduces a few additional tunable parameters as prompts to a task-agnostic pre-trained model, and updates only these parameters using supervision from limited labeled data while keeping the pre-trained model unchanged. However, previous work has overlooked the importance of selective labeling in downstream tasks, which aims to select the most valuable downstream samples for annotation to achieve the best performance with minimum annotation cost. To address this, we propose a framework that combines selective labeling with prompt tuning (SLPT) to boost performance in limited labels. Specifically, we introduce a feature-aware prompt updater to guide prompt tuning and a TandEm Selective LAbeling (TESLA) strategy. TESLA includes unsupervised diversity selection and supervised selection using prompt-based uncertainty. In addition, we propose a diversified visual prompt tuning strategy to provide multi-prompt-based discrepant predictions for TESLA. We evaluate our method on liver tumor segmentation and achieve state-of-the-art performance, outperforming traditional fine-tuning with only 6% of tunable parameters, also achieving 94% of full-data performance by labeling only 5% of the data.
• Abstract（参考訳）: 深層学習を用いた医用画像解析は、ラベル付きデータと高いアノテーションコストによってしばしば課題となる。 ラベル限定のシナリオでネットワーク全体を微調整することで、過度な適合性と準最適パフォーマンスにつながる可能性がある。 近年、プロンプトチューニングは、タスクに依存しない事前学習モデルへのプロンプトとしていくつかの追加の調整可能なパラメータを導入し、事前訓練されたモデルを維持しながら、ラベル付きデータからの監督を利用して、これらのパラメータのみを更新する、より有望な手法として登場した。 しかし、従来の研究は、最小限のアノテーションコストで最高のパフォーマンスを達成するために、アノテーションのために最も価値のある下流サンプルを選択することを目的として、下流タスクにおける選択的なラベル付けの重要性を見落としている。 そこで本稿では,選択的ラベリングとプロンプトチューニング(SLPT)を組み合わせることで,限定ラベルの性能向上を実現するフレームワークを提案する。 具体的には、プロンプトチューニングをガイドする機能対応プロンプト更新器と、TandEm Selective labeling(TESLA)戦略を導入する。 TESLAには、教師なしの多様性選択と、プロンプトベースの不確実性を用いた教師付き選択が含まれる。 さらに,TESLAのマルチプロンプトに基づく離散予測を実現するために,多様な視覚的プロンプトチューニング戦略を提案する。 肝腫瘍の分節法を評価し, 従来の微調整法を6%の可変パラメータで上回り, 5%のデータをラベル付けすることにより, 総データ性能の94%を達成した。

関連論文リスト

• Selective Fine-tuning on LLM-labeled Data May Reduce Reliance on Human Annotation: A Case Study Using Schedule-of-Event Table Detection [2.238930812771604]
  ゲミニ-pro 1.0から得られたノイズラベルを用いて,パラメータ効率の良い微細チューニング(PEFT)を施したPaLM-2を微調整した。 これらのラベルを微調整した PaLM-2 は gemini-pro 1.0 や他の LLM を超える性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-05-09T20:45:58Z)
• ActiveDC: Distribution Calibration for Active Finetuning [36.64444238742072]
  本研究では,アクティブ微調整タスクのためのActiveDCと呼ばれる新しい手法を提案する。 我々は,無ラベルプールにおける暗黙のカテゴリ情報を利用して,選択したサンプルの分布を校正する。 その結果,ActiveDCは画像分類タスクのベースライン性能を一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2023-11-13T14:35:18Z)
• Unified Low-Resource Sequence Labeling by Sample-Aware Dynamic Sparse Finetuning [24.765911297156855]
  FISH-DIPは、少数のパラメータに選択的にフォーカスする、サンプル対応のダイナミックスパース微調整戦略である。 FISH-DIPは、最大40%の性能改善を提供する低リソース設定でモデルをスムーズに最適化できることを実証した。
  論文  参考訳（メタデータ） (2023-11-07T06:19:37Z)
• IDEAL: Influence-Driven Selective Annotations Empower In-Context Learners in Large Language Models [66.32043210237768]
  本稿では,影響駆動型選択的アノテーション手法を提案する。 アノテーションのコストを最小限に抑えつつ、コンテキスト内サンプルの品質を向上させることを目的としている。 様々なベンチマークで提案手法の優位性を確認する実験を行った。
  論文  参考訳（メタデータ） (2023-10-16T22:53:54Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
  我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。 本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。 提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
  論文  参考訳（メタデータ） (2022-10-14T19:13:36Z)
• Partial sequence labeling with structured Gaussian Processes [8.239028141030621]
  部分列ラベリングのための構造付きガウス過程を提案する。 予測の不確実性を符号化し、モデル選択やハイパーパラメータ学習に余分な労力を要しない。 いくつかのシーケンスラベリングタスクで評価を行い,実験結果から提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-09-20T00:56:49Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。