論文の概要: A Survey on Cost Types, Interaction Schemes, and Annotator Performance Models in Selection Algorithms for Active Learning in Classification

• arxiv url: http://arxiv.org/abs/2109.11301v1
• Date: Thu, 23 Sep 2021 11:17:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-24 15:13:37.456542
• Title: A Survey on Cost Types, Interaction Schemes, and Annotator Performance Models in Selection Algorithms for Active Learning in Classification
• Title（参考訳）: 分類における能動学習のための選択アルゴリズムにおけるコストタイプ,インタラクション方式,アノテーションの性能モデルの検討
• Authors: Marek Herde, Denis Huseljic, Bernhard Sick, Adrian Calma
• Abstract要約: プールベースのアクティブラーニングは、アノテーションプロセスを最適化することを目的としている。 ALストラテジークエリは、アノテーションからインテリジェントにアノテーションを使用して、高性能な分類モデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 1.539335655168078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pool-based active learning (AL) aims to optimize the annotation process (i.e., labeling) as the acquisition of annotations is often time-consuming and therefore expensive. For this purpose, an AL strategy queries annotations intelligently from annotators to train a high-performance classification model at a low annotation cost. Traditional AL strategies operate in an idealized framework. They assume a single, omniscient annotator who never gets tired and charges uniformly regardless of query difficulty. However, in real-world applications, we often face human annotators, e.g., crowd or in-house workers, who make annotation mistakes and can be reluctant to respond if tired or faced with complex queries. Recently, a wide range of novel AL strategies has been proposed to address these issues. They differ in at least one of the following three central aspects from traditional AL: (1) They explicitly consider (multiple) human annotators whose performances can be affected by various factors, such as missing expertise. (2) They generalize the interaction with human annotators by considering different query and annotation types, such as asking an annotator for feedback on an inferred classification rule. (3) They take more complex cost schemes regarding annotations and misclassifications into account. This survey provides an overview of these AL strategies and refers to them as real-world AL. Therefore, we introduce a general real-world AL strategy as part of a learning cycle and use its elements, e.g., the query and annotator selection algorithm, to categorize about 60 real-world AL strategies. Finally, we outline possible directions for future research in the field of AL.
• Abstract（参考訳）: プールベースのアクティブラーニング(AL)は、アノテーションの取得が時間を要するためコストがかかるため、アノテーションプロセス(ラベル付け)を最適化することを目的としている。 この目的のために、al戦略はアノテーションをアノテーションからインテリジェントにクエリし、低いアノテーションコストで高性能な分類モデルをトレーニングします。 従来のal戦略は理想的な枠組みで機能する。 彼らは、クエリの難しさに関わらず、疲れたり、均一に課金されることのない、完全なアノテータを1つと仮定する。 しかし、現実世界のアプリケーションでは、アノテーションのミスを犯し、疲れたり複雑なクエリに直面すると反応しない人や社内の労働者など、人間のアノテータに直面することが多い。 近年,これらの問題に対処する新たなAL戦略が提案されている。 従来のALとは以下の3つの中心的な側面のうちの少なくとも1つが異なる: 1) 専門知識の欠如など様々な要因によってパフォーマンスに影響を及ぼす可能性のある(複数の)人間のアノテータを明示的に検討する。 2) 推論された分類規則に対するフィードバックを求める注釈者など, 異なる問合せ型とアノテーション型を考慮し, 人間の注釈者とのインタラクションを一般化する。 3)アノテーションや誤分類に関する複雑なコストスキームを考慮に入れます。 この調査はこれらのAL戦略の概要を提供し、それらを現実世界のALと呼んでいる。 そこで本研究では,学習サイクルの一部として,一般的な実世界のAL戦略を導入し,クエリとアノテータ選択アルゴリズムなどの要素を用いて約60の実世界のAL戦略を分類する。 最後に,AL分野における今後の研究の方向性について概説する。

関連論文リスト

• Unified Active Retrieval for Retrieval Augmented Generation [69.63003043712696]
  Retrieval-Augmented Generation (RAG)では、検索は必ずしも役に立たない。 既存のアクティブ検索手法は2つの課題に直面している。 彼らは通常、様々な種類の命令を扱うのに苦労する単一の基準に頼っている。 それらは特殊で高度に区別された手順に依存しており、それらを組み合わせることでRAGシステムはより複雑になる。
  論文  参考訳（メタデータ） (2024-06-18T12:09:02Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• ALE: A Simulation-Based Active Learning Evaluation Framework for the Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
  Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。 この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。 NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:42:11Z)
• Active Learning for Natural Language Generation [17.14395724301382]
  本稿では,自然言語生成のための能動的学習に関する最初の体系的研究について述べる。 以上の結果から,既存のAL戦略は不整合であることが示唆された。 分類と生成シナリオの顕著な違いを強調し,既存のAL戦略の選択行動を分析する。
  論文  参考訳（メタデータ） (2023-05-24T11:27:53Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• ImitAL: Learning Active Learning Strategies from Synthetic Data [14.758287202278918]
  アクティブラーニングはラベル付きデータを効率的に取得するためのよく知られた標準手法である。 我々は、ALを学習からランクへの問題としてエンコードする新しいクエリ戦略であるImitALを提案する。 このアプローチは他のほとんどの戦略、特に非常に大規模なデータセットよりも実行時パフォーマンスが高いことを示す。
  論文  参考訳（メタデータ） (2021-08-17T15:03:31Z)
• Did Aristotle Use a Laptop? A Question Answering Benchmark with Implicit Reasoning Strategies [78.68534915690404]
  StrategyQAは、必要な推論ステップが問題に暗黙的であり、戦略を使用して推論されるべきベンチマークです。 用語に基づくプライミングを組み合わせ、アノテーションーを刺激し、アノテーションーの集団を慎重に制御し、推論ショートカットを排除するための逆フィルタリングを行うデータ収集手順を提案する。 総合的に、StrategyQAには2,780の例があり、それぞれが戦略問題、その分解、証拠パラグラフで構成されている。
  論文  参考訳（メタデータ） (2021-01-06T19:14:23Z)
• Online Learning Demands in Max-min Fairness [91.37280766977923]
  本稿では,複数のユーザ間の希少リソースの割り当て機構について,効率的で公平で戦略に準拠した方法で記述する。 このメカニズムは複数のラウンドで繰り返され、各ラウンドでユーザの要求が変更される可能性がある。 各ラウンドの最後には、ユーザは受け取ったアロケーションに関するフィードバックを提供し、そのメカニズムが時間の経過とともにユーザの好みを学習することを可能にする。
  論文  参考訳（メタデータ） (2020-12-15T22:15:20Z)
• Active Imitation Learning with Noisy Guidance [6.832341432995627]
  シミュレーション学習アルゴリズムは、多くの構造化予測タスクに対して最先端の結果を提供する。 このようなアルゴリズムは、任意のクエリ状態において最適なアクションを提供する専門家へのトレーニングタイムアクセスを前提としている。 我々は,学習アルゴリズムがノイズの多いガイダンスを提供するより安価なノイズにアクセスできるような,アクティブな学習環境を考える。
  論文  参考訳（メタデータ） (2020-05-26T15:35:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。