論文の概要: On Dataset Transferability in Active Learning for Transformers
- arxiv url: http://arxiv.org/abs/2305.09807v2
- Date: Fri, 29 Sep 2023 09:05:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 18:58:47.809693
- Title: On Dataset Transferability in Active Learning for Transformers
- Title（参考訳）: 変圧器のアクティブ学習におけるデータセット転送性について
- Authors: Fran Jeleni\'c, Josip Juki\'c, Nina Drobac, Jan \v{S}najder
- Abstract要約: アクティブラーニング(AL)は、モデルラーニングに最も有用な例を問うことでラベリングコストを削減することを目的としている。
本稿では,テキスト分類におけるアクティブなデータセットの転送可能性の問題について考察する。
取得シーケンスの類似性は、モデルの選択よりもALメソッドの選択に強く影響されていることを示す。
- 参考スコア（独自算出の注目度）: 4.779196219827508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Active learning (AL) aims to reduce labeling costs by querying the examples
most beneficial for model learning. While the effectiveness of AL for
fine-tuning transformer-based pre-trained language models (PLMs) has been
demonstrated, it is less clear to what extent the AL gains obtained with one
model transfer to others. We consider the problem of transferability of
actively acquired datasets in text classification and investigate whether AL
gains persist when a dataset built using AL coupled with a specific PLM is used
to train a different PLM. We link the AL dataset transferability to the
similarity of instances queried by the different PLMs and show that AL methods
with similar acquisition sequences produce highly transferable datasets
regardless of the models used. Additionally, we show that the similarity of
acquisition sequences is influenced more by the choice of the AL method than
the choice of the model.
- Abstract（参考訳）: アクティブラーニング(al)は、モデル学習に最も有益な例をクエリすることで、ラベリングコストを削減することを目的としている。
微調整変換器を用いた事前学習言語モデル(PLM)に対するALの有効性が示されているが、一方のモデルから他方への変換によって得られるALの利得の程度は明らかになっていない。
テキスト分類におけるアクティブなデータセットの転送可能性の問題について考察し、ALを用いて構築したデータセットと特定のPLMを併用して異なるPLMをトレーニングする場合にALゲインが持続するかどうかを検討する。
我々は、異なるplmでクエリされたインスタンスの類似性にalデータセットの転送可能性をリンクし、同じ取得シーケンスを持つalメソッドが使用するモデルに関係なく、高度に転送可能なデータセットを生成することを示す。
さらに, 取得シーケンスの類似性は, モデルの選択よりもAL法の選択に強く影響されていることを示す。
関連論文リスト
- Amortized Active Learning for Nonparametric Functions [23.406516455945653]
アクティブラーニング(英: Active Learning, AL)は、最も情報性の高いデータを選択するためのシーケンシャルラーニングスキームである。
そこで本研究では,実データなしで事前トレーニングを行うニューラルネットワークを用いて,新たなデータを提案するアモータイズAL手法を提案する。
論文 参考訳（メタデータ） (2024-07-25T12:38:08Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - SQBC: Active Learning using LLM-Generated Synthetic Data for Stance Detection in Online Political Discussions [1.1624569521079426]
オンライン政治討論における姿勢検出エージェントの訓練と改善にLLM生成合成データを活用する2つの方法を提案する。
まず,簡単な微調整データセットを合成データで拡張することで,姿勢検出モデルの性能を向上できることを示す。
第2に,クエリ・バイ・コミティ(Query-by-Comittee)アプローチに基づくSQBCと呼ばれる新しいアクティブ・ラーニング手法を提案する。
論文 参考訳（メタデータ） (2024-04-11T18:34:11Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳（メタデータ） (2023-09-11T14:16:37Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z) - Pareto Optimization for Active Learning under Out-of-Distribution Data
Scenarios [79.02009938011447]
本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。
実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
論文 参考訳（メタデータ） (2022-07-04T04:11:44Z) - Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of
Semi-Supervised Learning and Active Learning [60.26659373318915]
アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。
本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。
2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
論文 参考訳（メタデータ） (2022-06-07T13:28:43Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳（メタデータ） (2022-02-08T19:18:49Z) - Unsupervised Instance Selection with Low-Label, Supervised Learning for
Outlier Detection [0.0]
Active Learningは、最も不確実なクラス割り当てを持つインスタンスのラベルに対して、人間のアノテーションーをクエリする技術である。
その利点にもかかわらず、ALはクラス不均衡なデータセットに難航し、非効率なラベリングプロセスをもたらす。
我々はunsupervised instance selection (UNISEL) 法とRandom Forest (RF) 分類器について検討した。
その結果,UNISELの後続のRFはRFとALと同等に動作し,UNISELとALの組み合わせは優れた性能を示した。
論文 参考訳（メタデータ） (2021-04-26T19:23:58Z) - IALE: Imitating Active Learner Ensembles [1.8655840060559172]
本研究では,アクティブな学習サイクルの各段階において,最高の専門家の選択を模倣する模倣学習手法を提案する。
DAGGERを使用して、データセット上でポリシーをトレーニングし、その後、同様のドメインのデータセットに適用します。
論文 参考訳（メタデータ） (2020-07-09T08:38:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。