論文の概要: Active Learning on a Budget: Opposite Strategies Suit High and Low Budgets

• arxiv url: http://arxiv.org/abs/2202.02794v1
• Date: Sun, 6 Feb 2022 15:09:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 08:31:12.548514
• Title: Active Learning on a Budget: Opposite Strategies Suit High and Low Budgets
• Title（参考訳）: 予算のアクティブラーニング - 高予算と低予算の逆戦略
• Authors: Guy Hacohen, Avihu Dekel, Daphna Weinshall
• Abstract要約: 予算が大きければ,非定型的な点が最善であるのに対して,典型的な点が低予算で問合せされるべきであることを示す。 低予算に適したディープラーニング戦略であるTypiClustを提案する。
• 参考スコア（独自算出の注目度）: 8.937905773981702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Investigating active learning, we focus on the relation between the number of labeled examples (budget size), and suitable corresponding querying strategies. Our theoretical analysis shows a behavior reminiscent of phase transition: typical points should best be queried in the low budget regime, while atypical (or uncertain) points are best queried when the budget is large. Combined evidence from our theoretical and empirical studies shows that a similar phenomenon occurs in simple classification models. Accordingly, we propose TypiClust -- a deep active learning strategy suited for low budgets. In a comparative empirical investigation using a variety of architectures and image datasets, we report that in the low budget regime, TypiClust outperforms all other active learning strategies. Using TypiClust in a semi-supervised framework, the performance of competitive semi-supervised methods gets a significant boost, surpassing the state of the art.
• Abstract（参考訳）: 積極的学習を考察し,ラベル付きサンプルの数(予算規模)と適切なクエリ戦略との関係に着目した。 我々の理論的分析は、相転移を想起させる行動を示している:典型的な点は、予算が大きければ、非定型的(または不確実)な点が最善である。 理論的および実証的な研究から、同様の現象が単純な分類モデルで起こることが示されている。 そこで本研究では,低予算化に適した学習戦略であるtypiclustを提案する。 さまざまなアーキテクチャとイメージデータセットを用いた比較実証調査において,低予算のTypiClustは,他のすべてのアクティブな学習戦略よりも優れていることを報告した。 半教師付きフレームワークでTypiClustを使用することで、競争力のある半教師付き手法のパフォーマンスが大幅に向上し、最先端技術を上回っます。

関連論文リスト

• Preview-based Category Contrastive Learning for Knowledge Distillation [53.551002781828146]
  知識蒸留(PCKD)のための新しい予見型カテゴリーコントラスト学習法を提案する。 まず、インスタンスレベルの特徴対応と、インスタンスの特徴とカテゴリ中心の関係の両方の構造的知識を蒸留する。 カテゴリ表現を明示的に最適化し、インスタンスとカテゴリの表現を明確に関連付けることができる。
  論文  参考訳（メタデータ） (2024-10-18T03:31:00Z)
• TFG: Unified Training-Free Guidance for Diffusion Models [82.14536097768632]
  トレーニング不要のガイダンスは、追加のトレーニングなしで望ましい目標特性を持つサンプルを生成することができる。 既存の手法は様々な個別の用途で有効であるが、理論的な根拠と広範囲なベンチマークでの厳密な試験が欠如していることが多い。 本稿では,既存の手法を特殊な事例として包含する新しいアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T05:31:17Z)
• DCoM: Active Learning for All Learners [7.627299398469962]
  Dynamic Coverage & Margin Mix (DCoM)はこのギャップを埋めるために設計された新しいアクティブラーニングアプローチである。 コールドスタート問題を克服するDCoMの能力を実証し、予算の異なる制約にまたがって結果を継続的に改善する。
  論文  参考訳（メタデータ） (2024-07-01T21:06:34Z)
• Reasoning in Token Economies: Budget-Aware Evaluation of LLM Reasoning Strategies [24.875748056926213]
  本稿では,計算予算を評価に組み込む枠組みを提案する。 複雑な推論戦略は、アルゴリズムの創発性のため、純粋に単純なベースラインを超えないことが多い。 自己整合性とは異なり、マルチエージェントの議論やリフレクションのような特定の戦略は、より多くの計算予算が利用されれば悪化する可能性がある。
  論文  参考訳（メタデータ） (2024-06-10T16:55:08Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• ALE: A Simulation-Based Active Learning Evaluation Framework for the Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
  Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。 この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。 NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:42:11Z)
• How to Select Which Active Learning Strategy is Best Suited for Your Specific Problem and Budget [17.62242617965356]
  本稿では,予算の最適戦略を動的に識別する実用的な微分法を提案する。 次に,問題の特徴と利用可能な予算を考慮したAL戦略を動的に選択する手法を提案する。 その結果,様々な予算やコンピュータビジョンタスクにまたがるアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2023-06-06T09:44:56Z)
• Active Learning Through a Covering Lens [7.952582509792972]
  ディープラーニングは、ディープニューラルネットワークのアノテーションコストを削減することを目的としている。 低予算体制のための新しいアクティブラーニングアルゴリズムであるProbCoverを提案する。 いくつかの画像認識ベンチマークにおいて,我々の原理的アクティブラーニング戦略は,低予算体制の最先端性を向上することを示す。
  論文  参考訳（メタデータ） (2022-05-23T14:03:23Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• Learning to Select Base Classes for Few-shot Classification [96.92372639495551]
  我々は、数ショットモデルの一般化性能を示す指標として、類似度比を用いる。 次に、類似度比に対する部分モジュラー最適化問題として基底クラス選択問題を定式化する。
  論文  参考訳（メタデータ） (2020-04-01T09:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。