論文の概要: OpenAL: Evaluation and Interpretation of Active Learning Strategies

• arxiv url: http://arxiv.org/abs/2304.05246v1
• Date: Tue, 11 Apr 2023 14:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 14:45:37.493242
• Title: OpenAL: Evaluation and Interpretation of Active Learning Strategies
• Title（参考訳）: OpenAL:アクティブラーニング戦略の評価と解釈
• Authors: W. Jonas, A. Abraham, L. Dreyfus-Schmidt
• Abstract要約: OpenALは、リアルなタスクのコレクション上で、AL戦略のサンプリングを実行し比較するための、柔軟でオープンソースのフレームワークです。 提案するベンチマークでは,解釈可能性の指標と統計的分析手法を用いて,サンプルが他よりも優れている理由と時期を解析する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Despite the vast body of literature on Active Learning (AL), there is no comprehensive and open benchmark allowing for efficient and simple comparison of proposed samplers. Additionally, the variability in experimental settings across the literature makes it difficult to choose a sampling strategy, which is critical due to the one-off nature of AL experiments. To address those limitations, we introduce OpenAL, a flexible and open-source framework to easily run and compare sampling AL strategies on a collection of realistic tasks. The proposed benchmark is augmented with interpretability metrics and statistical analysis methods to understand when and why some samplers outperform others. Last but not least, practitioners can easily extend the benchmark by submitting their own AL samplers.
• Abstract（参考訳）: アクティブラーニング(AL)に関する膨大な文献にもかかわらず、提案されたサンプルの効率的かつ簡単な比較を可能にする包括的かつオープンなベンチマークは存在しない。 さらに,本論文における実験環境の変化は,AL実験の単発的な性質から,サンプリング戦略の選択を困難にしている。 これらの制限に対処するため、我々は、リアルなタスクのコレクション上でAL戦略のサンプリングを実行し比較するための、柔軟でオープンソースのフレームワークであるOpenALを紹介します。 提案するベンチマークでは,解釈可能性の指標と統計的解析手法を用いて,サンプルが他よりも優れる理由と時間を理解する。 最後に重要なのは、独自のALサンプルを提出することで、ベンチマークを簡単に拡張できることだ。

関連論文リスト

• Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。 LLMの能力を評価するにはベンチマーク評価が不可欠である。
  論文  参考訳（メタデータ） (2025-02-13T03:43:33Z)
• Learning from Different Samples: A Source-free Framework for Semi-supervised Domain Adaptation [20.172605920901777]
  本稿では,異なる対象サンプルを包括的にマイニングするための異なる戦略を利用するフレームワークの設計に焦点をあてる。 そこで本研究では,対象領域における事前学習モデルの半教師付き微調整を実現するための,新しいソースフリーフレームワーク(SOUF)を提案する。
  論文  参考訳（メタデータ） (2024-11-11T02:09:32Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• ALE: A Simulation-Based Active Learning Evaluation Framework for the Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
  Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。 この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。 NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:42:11Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Easy Learning from Label Proportions [17.71834385754893]
  Easyllpは、アグリゲーションラベルに基づいた、柔軟で簡単に実装可能なデバイアス方式である。 我々の手法は、任意のモデルが個々のレベルで予想される損失を正確に見積もることができる。
  論文  参考訳（メタデータ） (2023-02-06T20:41:38Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Rethinking Sampling Strategies for Unsupervised Person Re-identification [59.47536050785886]
  我々は,同じフレームワーク下での各種サンプリング戦略と損失関数のパフォーマンス差の理由を解析した。 グループサンプリングを提案し、同じクラスのサンプルをグループに集める。 Market-1501、DukeMTMC-reID、MSMT17の実験は、グループサンプリングが最先端の手法に匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2021-07-07T05:39:58Z)
• Reducing Confusion in Active Learning for Part-Of-Speech Tagging [100.08742107682264]
  アクティブラーニング(AL)は、データ選択アルゴリズムを使用して、アノテーションコストを最小限に抑えるために有用なトレーニングサンプルを選択する。 本研究では、特定の出力タグのペア間の混乱を最大に低減するインスタンスの選択問題について検討する。 提案するAL戦略は,他のAL戦略よりも有意差で優れている。
  論文  参考訳（メタデータ） (2020-11-02T06:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。