論文の概要: One Knob to Rule Them All: A Unified Optimal Transport View of Cold-Start Active Learning
- arxiv url: http://arxiv.org/abs/2608.03249v1
- Date: Tue, 04 Aug 2026 07:21:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.077851
- Title: One Knob to Rule Them All: A Unified Optimal Transport View of Cold-Start Active Learning
- Title（参考訳）: コールドスタートアクティブラーニングの統一された最適輸送視点
- Authors: Ning Zhu, Xiaochuan Ma, Juntao Xu, Jingze Liang, Mengfei Zhao, An Chen, Liang-Jian Deng,
- Abstract要約: Cold-Start Active Learning (CSAL)は、事前の知識や人的支援なしにラベルのないプールから価値のあるサブセットを選択することを目的としている。
真の課題は、もう1つの選択を設計することではなく、CSALを手元にあるデータやタスクに自動的に適応させることである、と私たちは主張する。
我々は、Sinkhornベースの新しいCSALアルゴリズムを、$-Adaptive Selection($-AS)と呼ぶ。
- 参考スコア（独自算出の注目度）: 19.504724272527515
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Cold-Start Active Learning (CSAL) aims to select a valuable subset from an unlabeled pool without any prior knowledge or human assistance. Existing methods take diverse routes based on typicality, coverage, or diversity. Each rests on its own inductive bias and therefore performs well on some tasks yet poorly on others. We argue that the real challenge is not to design yet another selection heuristic, but to make CSAL adapt automatically to the data and task at hand. To this end, we revisit CSAL through the lens of optimal transport. First, we propose a generalized transport selection framework that reveals the shared allocation structure of existing methods and exactly subsumes representative formulations. Second, we introduce a theoretical analysis that characterizes the trade-off controlled by entropic regularization and establishes a task-agnostic minimax bound for cold-start selection. These results provide a principled foundation for adapting the regularization strength to the unlabeled data. Third, we derive a data-adaptive regularization rule and present a novel Sinkhorn-based CSAL algorithm, termed $ε$-Adaptive Selection ($ε$-AS). Extensive experiments on six public datasets and multiple annotation budgets show that $ε$-AS consistently achieves state-of-the-art performance. On ImageNet-1k, it improves the average accuracy over ActiveFT by 1.29% while reducing selection time by 56.2%. Code will be released at https://github.com/Z-yiwei/OT-CSAL
- Abstract（参考訳）: Cold-Start Active Learning (CSAL)は、事前の知識や人的支援なしにラベルのないプールから価値のあるサブセットを選択することを目的としている。
既存の手法は、典型性、カバレッジ、多様性に基づいて様々な経路を取る。
それぞれが独自の帰納バイアスを負うため、いくつかのタスクではうまく機能するが、他のタスクではうまく機能しない。
真の課題は、もう1つの選択ヒューリスティックを設計することではなく、CSALを手元にあるデータやタスクに自動的に適応させることである、と私たちは主張する。
この目的のために、最適な輸送のレンズを通してCSALを再考する。
まず、既存の手法の共有配置構造を明らかにし、代表式を正確に仮定する一般化された輸送選択フレームワークを提案する。
第2に、エントロピー正規化によって制御されるトレードオフを特徴付ける理論分析を導入し、コールドスタート選択のためのタスク非依存のミニマックスを確立する。
これらの結果は、ラベルのないデータに正規化強度を適用するための基本となる。
第3に、データ適応正規化規則を導出し、新しいシンクホーンベースのCSALアルゴリズムを、$ε$-Adaptive Selection(ε$-AS)と呼ぶ。
6つの公開データセットと複数のアノテーション予算に関する大規模な実験は、$ε$-ASが一貫して最先端のパフォーマンスを達成することを示している。
ImageNet-1kでは、ActiveFTに対する平均精度を1.29%改善し、選択時間を56.2%削減した。
コードはhttps://github.com/Z-yiwei/OT-CSALでリリースされる
関連論文リスト
- REAR: Test-time Preference Realignment through Reward Decomposition [68.09214603569744]
本稿では,タスクを階層化問題としてモデル化する新しいフレームワークを提案する。
これら2つの報酬項の比率を選択的に再スケールするREAR(Realignment Reward)を導出する。
我々は,REARをトークンレベルのポリシログ確率の線形結合として定式化することができ,様々なTSアルゴリズムと容易に統合できることを示す。
論文 参考訳（メタデータ） (2026-06-29T14:17:53Z) - From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning [19.659110958894335]
Supervised Fine-tuning (SFT) データ選択は、一般的にインスタンスランキングとして定式化される。
効果的なSFTトレーニングサブセットは、しばしば順序づけられたキュレーションレシピによって生成される。
キャッシュされたタスク、データ、モデル側信号に基づいて、固定プールの実体化を分離する2層解法であるAutoSelectionを導入する。
論文 参考訳（メタデータ） (2026-05-13T03:27:21Z) - Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。
提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。
そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
論文 参考訳（メタデータ） (2026-02-01T17:29:43Z) - SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。
離散選択問題を連続的な部分集合最適化フレームワークに変換する。
両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
論文 参考訳（メタデータ） (2025-02-14T12:35:21Z) - Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach [17.79010397902909]
目的タスクに対する言語モデル(LM)の微調整の問題について,$n$補助タスクの情報を用いて最適に検討する。
この問題には、NLPにおけるターゲット命令チューニングや、チェーン・オブ・ファインタニングにおけるデータ選択など、幅広い応用がある。
繰り返しトレーニングを必要とせずにモデル微調整性能を推定する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-28T21:26:50Z) - Variance Alignment Score: A Simple But Tough-to-Beat Data Selection
Method for Multimodal Contrastive Learning [17.40655778450583]
本稿では、Sigma_texttest, Sigma_irangle$という形式を持つVariance Alignment Score(VAS)という原則付き計量を提案する。
VASとCLIPのスコアを合わせると、ノイズの多いデータセットDataCompの38評価セットに1.3%、高品質なデータセットCC12MのVTABに2.5%の差でベースラインを上回ります。
論文 参考訳（メタデータ） (2024-02-03T06:29:04Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳（メタデータ） (2023-04-07T23:51:07Z) - Contextual Active Model Selection [10.925932167673764]
本稿では,ラベル付けコストを最小限に抑えつつ,事前学習したモデルを積極的に選択する手法を提案する。
目的は、ラベル要求を制限しながら予測を行う最良のモデルを適応的に選択することである。
2つの新しいコンポーネントに依存した文脈的アクティブモデル選択アルゴリズムであるCAMSを提案する。
論文 参考訳（メタデータ） (2022-07-13T08:22:22Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳（メタデータ） (2022-02-08T19:18:49Z) - Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
我々は,推論中に深層モデルを新しい環境に適応させることを提案する。
バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。
また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
論文 参考訳（メタデータ） (2021-10-06T08:45:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。