論文の概要: PromptAL: Sample-Aware Dynamic Soft Prompts for Few-Shot Active Learning
- arxiv url: http://arxiv.org/abs/2507.16424v1
- Date: Tue, 22 Jul 2025 10:17:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-23 21:34:14.065899
- Title: PromptAL: Sample-Aware Dynamic Soft Prompts for Few-Shot Active Learning
- Title（参考訳）: PromptAL:Few-Shot Active Learningのためのサンプル対応動的ソフトプロンプト
- Authors: Hui Xiang, Jinqiao Shi, Ting Zhang, Xiaojie Zhao, Yong Liu, Yong Ma,
- Abstract要約: アクティブラーニング(AL)は、モデルトレーニングを最適化し、ラベル付けに最も有用なサンプルを選択することでアノテーションコストを削減することを目的としている。
我々は、textbfPromptAL(Few-Shot textbfActive textbfL用のSample-Aware Dynamic Soft textbfPrompts)と呼ばれるハイブリッドALフレームワークを提案する。
このフレームワークは、現在の経験的分布とターゲット分布との整合性において、ラベルのない各データポイントの寄与を考慮に入れている。
- 参考スコア（独自算出の注目度）: 17.336121253746335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Active learning (AL) aims to optimize model training and reduce annotation costs by selecting the most informative samples for labeling. Typically, AL methods rely on the empirical distribution of labeled data to define the decision boundary and perform uncertainty or diversity estimation, subsequently identifying potential high-quality samples. In few-shot scenarios, the empirical distribution often diverges significantly from the target distribution, causing the decision boundary to shift away from its optimal position. However, existing methods overlook the role of unlabeled samples in enhancing the empirical distribution to better align with the target distribution, resulting in a suboptimal decision boundary and the selection of samples that inadequately represent the target distribution. To address this, we propose a hybrid AL framework, termed \textbf{PromptAL} (Sample-Aware Dynamic Soft \textbf{Prompts} for Few-Shot \textbf{A}ctive \textbf{L}earning). This framework accounts for the contribution of each unlabeled data point in aligning the current empirical distribution with the target distribution, thereby optimizing the decision boundary. Specifically, PromptAL first leverages unlabeled data to construct sample-aware dynamic soft prompts that adjust the model's predictive distribution and decision boundary. Subsequently, based on the adjusted decision boundary, it integrates uncertainty estimation with both global and local diversity to select high-quality samples that more accurately represent the target distribution. Experimental results on six in-domain and three out-of-domain datasets show that PromptAL achieves superior performance over nine baselines. Our codebase is openly accessible.
- Abstract（参考訳）: アクティブラーニング(AL)は、モデルトレーニングを最適化し、ラベル付けに最も有用なサンプルを選択することでアノテーションコストを削減することを目的としている。
通常、AL法はラベル付きデータの経験的分布に依存して決定境界を定義し、不確実性や多様性の推定を行い、その後、潜在的な高品質なサンプルを特定する。
少数のシナリオでは、経験的分布は対象の分布から大きく分岐し、決定境界はその最適位置からずれる。
しかし, 既存の手法では, 実験的分布を向上し, 対象分布との整合性を高め, 最適下決定境界と, 対象分布を不適切に表すサンプルの選択を導出する役割を軽視している。
そこで本稿では,Few-Shot \textbf{A}ctive \textbf{L}earningに対して,Sample-Aware Dynamic Soft \textbf{Prompts}(Sample-Aware Dynamic Soft \textbf{Prompts})と呼ばれるハイブリッドALフレームワークを提案する。
このフレームワークは、現在の経験的分布と目標分布とを一致させて決定境界を最適化する際、ラベルのない各データポイントの寄与を考慮に入れている。
具体的には、PromptALはまずラベルのないデータを活用して、モデルの予測分布と決定境界を調整するサンプル対応の動的ソフトプロンプトを構築する。
その後、調整された決定境界に基づいて、グローバルとローカルの両方の多様性と不確実性推定を統合し、ターゲット分布をより正確に表現する高品質なサンプルを選択する。
6つのドメイン内データセットと3つのドメイン外データセットの実験結果から、PromptALは9つのベースラインよりも優れたパフォーマンスを実現している。
私たちのコードベースはオープンにアクセスできます。
関連論文リスト
- Importance Weighted Score Matching for Diffusion Samplers with Enhanced Mode Coverage [16.94974733994214]
一般的な手法では、逆KLベースの目的を最適化することで、ターゲットデータの欠如を回避できることが多い。
そこで本研究では,KLの分岐に類似した目的を直接ターゲットとした拡散型サンプリング器の訓練手法を提案する。
我々のアプローチは、すべての分布距離のメトリクスで既存のニューラルサンプリングよりも一貫して優れています。
論文 参考訳（メタデータ） (2025-05-26T02:48:26Z) - Direct Distributional Optimization for Provable Alignment of Diffusion Models [39.048284342436666]
分布最適化の観点から拡散モデルの新しいアライメント手法を提案する。
まず、確率分布に対する一般正規化損失最小化として問題を定式化する。
本研究では,Doob の $h$-transform 技術を用いてスコア関数を近似することにより,学習した分布からのサンプリングを可能にする。
論文 参考訳（メタデータ） (2025-02-05T07:35:15Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-07-20T01:34:13Z) - Distributionally robust risk evaluation with an isotonic constraint [20.74502777102024]
分布的に堅牢な学習は、不確実な分布の集合内で最悪のケースの統計性能を制御することを目的としている。
本稿では,未知のターゲット分布が推定値と異なる方法に関する事前情報を組み込んだDRLの形状制約手法を提案する。
合成データと実データの両方に関する実証研究は、提案した形状制約手法の精度の向上を実証している。
論文 参考訳（メタデータ） (2024-07-09T13:56:34Z) - Bi-discriminator Domain Adversarial Neural Networks with Class-Level
Gradient Alignment [87.8301166955305]
そこで本研究では,クラスレベルのアライメントアライメントを有するバイディミネータドメイン対向ニューラルネットワークを提案する。
BACGは、領域分布の整合性を改善するために勾配信号と二階確率推定を利用する。
さらに、対照的な学習にインスパイアされ、トレーニングプロセスを大幅に短縮できるメモリバンクベースの変種であるFast-BACGを開発した。
論文 参考訳（メタデータ） (2023-10-21T09:53:17Z) - Probabilistic Test-Time Generalization by Variational Neighbor-Labeling [62.158807685159736]
本稿では、ドメインの一般化を試み、モデルが未確認のターゲットドメインにデプロイされる前に、ソースドメインにのみトレーニングされる。
ソーストレーニングされたモデルをテスト時にターゲットドメインに一般化するための、ターゲットサンプルの擬似ラベル化の確率。
より堅牢な擬似ラベルを生成するために、近隣のターゲットサンプルの情報を含む変分隣接ラベル。
論文 参考訳（メタデータ） (2023-07-08T18:58:08Z) - Statistical Inference Under Constrained Selection Bias [20.862583584531322]
本稿では,選択バイアスが存在する場合の統計的推測を可能にする枠組みを提案する。
出力は、目標分布に対する推定値に対する高確率境界である。
我々はこれらの境界を推定するための手法の計算的および統計的特性を分析し、これらの手法が様々なシミュレートされた半合成的なタスクに対して情報的境界を生成可能であることを示す。
論文 参考訳（メタデータ） (2023-06-05T23:05:26Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳（メタデータ） (2022-11-12T09:21:49Z) - Multi-Class Data Description for Out-of-distribution Detection [25.853322158250435]
Deep-MCDDは、分布外(OOD)サンプルを検出するだけでなく、分布内(ID)サンプルを分類するのに効果的です。
ガウス微分分析の概念をディープニューラルネットワークに統合することにより,クラス条件分布を学習する深層学習目標を提案する。
論文 参考訳（メタデータ） (2021-04-02T08:41:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。