論文の概要: One-shot Active Learning Based on Lewis Weight Sampling for Multiple Deep Models

• arxiv url: http://arxiv.org/abs/2405.14121v2
• Date: Wed, 02 Oct 2024 09:28:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:16:54.377890
• Title: One-shot Active Learning Based on Lewis Weight Sampling for Multiple Deep Models
• Title（参考訳）: ルイス重みサンプリングに基づく複数深度モデルのワンショット能動学習
• Authors: Sheng-Jun Huang, Yi Li, Yiming Sun, Ying-Peng Tang,
• Abstract要約: 複数のターゲットモデルに対するアクティブラーニング(AL)は、ラベル付きデータクエリの削減と、複数のモデルを並列に効果的にトレーニングすることを目的としている。 既存のALアルゴリズムは、しばしば計算コストのかかる反復的なモデルトレーニングに依存している。 本稿では,この課題に対処する一発AL手法を提案する。
• 参考スコア（独自算出の注目度）: 39.582100727546816
• License:
• Abstract: Active learning (AL) for multiple target models aims to reduce labeled data querying while effectively training multiple models concurrently. Existing AL algorithms often rely on iterative model training, which can be computationally expensive, particularly for deep models. In this paper, we propose a one-shot AL method to address this challenge, which performs all label queries without repeated model training. Specifically, we extract different representations of the same dataset using distinct network backbones, and actively learn the linear prediction layer on each representation via an $\ell_p$-regression formulation. The regression problems are solved approximately by sampling and reweighting the unlabeled instances based on their maximum Lewis weights across the representations. An upper bound on the number of samples needed is provided with a rigorous analysis for $p\in [1, +\infty)$. Experimental results on 11 benchmarks show that our one-shot approach achieves competitive performances with the state-of-the-art AL methods for multiple target models.
• Abstract（参考訳）: 複数のターゲットモデルに対するアクティブラーニング(AL)は、ラベル付きデータクエリの削減と、複数のモデルを並列に効果的にトレーニングすることを目的としている。 既存のALアルゴリズムはしばしば反復モデルトレーニングに依存しており、特に深層モデルでは計算コストがかかる。 本稿では,この課題に対処する一発AL手法を提案する。 具体的には、異なるネットワークバックボーンを用いて同一データセットの異なる表現を抽出し、$\ell_p$-regressionの定式化により各表現上の線形予測層を積極的に学習する。 回帰問題は、表象全体にわたるルイス重みの最大値に基づいて、ラベルのないインスタンスのサンプリングと再重み付けによって、ほぼ解決される。 必要なサンプルの数に関する上限は、$p\in [1, +\infty)$に対する厳密な解析を持つ。 11のベンチマークによる実験結果から,我々のワンショットアプローチは,複数のターゲットモデルに対する最先端のAL手法と競合する性能を発揮することが示された。

関連論文リスト

• Training-Free Model Merging for Multi-target Domain Adaptation [6.00960357022946]
  シーン理解モデルのマルチターゲット領域適応について検討する。 私たちのソリューションはモデルパラメータのマージとモデルバッファのマージという2つのコンポーネントで構成されています。 我々の手法は単純だが有効であり、データ組み合わせトレーニングベースラインと同等の性能を達成できる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:57Z)
• Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
  事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。 本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:17:27Z)
• GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks [3.9638110494107095]
  In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。 本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。 我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
  論文  参考訳（メタデータ） (2023-11-16T06:28:05Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)
• Unsupervised Pool-Based Active Learning for Linear Regression [29.321275647107928]
  本稿では,線形回帰問題に対する教師なしプールベースALについて検討する。 本稿では,ALにおける3つの重要な基準である,情報性,代表性,多様性を同時に考慮した新たなALアプローチを提案する。
  論文  参考訳（メタデータ） (2020-01-14T20:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。