論文の概要: Goldilocks: Just-Right Tuning of BERT for Technology-Assisted Review

• arxiv url: http://arxiv.org/abs/2105.01044v1
• Date: Mon, 3 May 2021 17:41:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-04 16:03:00.390450
• Title: Goldilocks: Just-Right Tuning of BERT for Technology-Assisted Review
• Title（参考訳）: goldilocks:テクノロジー支援のためのbertの右チューニング
• Authors: Eugene Yang, Sean MacAvaney, David D. Lewis, Ophir Frieder
• Abstract要約: technology-assisted review (tar) は、ハイリコール検索タスクにおける文書レビューのための反復的なアクティブラーニングである。 教師付きチューニングを備えたトランスフォーマーベースモデルは,多くのテキスト分類タスクにおいて有効性を向上させることが確認された。 アクティブな学習を始める前にタスクコレクションを微調整する正当性言語モデルが重要であることを示す。
• 参考スコア（独自算出の注目度）: 14.689883695115519
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Technology-assisted review (TAR) refers to iterative active learning workflows for document review in high recall retrieval (HRR) tasks. TAR research and most commercial TAR software have applied linear models such as logistic regression or support vector machines to lexical features. Transformer-based models with supervised tuning have been found to improve effectiveness on many text classification tasks, suggesting their use in TAR. We indeed find that the pre-trained BERT model reduces review volume by 30% in TAR workflows simulated on the RCV1-v2 newswire collection. In contrast, we find that linear models outperform BERT for simulated legal discovery topics on the Jeb Bush e-mail collection. This suggests the match between transformer pre-training corpora and the task domain is more important than generally appreciated. Additionally, we show that just-right language model fine-tuning on the task collection before starting active learning is critical. Both too little or too much fine-tuning results in performance worse than that of linear models, even for RCV1-v2.
• Abstract（参考訳）: technology-assisted review (tar) は、ハイリコール検索(hrr)タスクにおける文書レビューのための反復的なアクティブラーニングワークフローを指す。 TAR研究とほとんどの商用TARソフトウェアは、ロジスティック回帰やサポートベクターマシンのような線形モデルを語彙的特徴に適用している。 教師付きチューニングを用いたトランスフォーマーベースモデルでは,多くのテキスト分類タスクの有効性が向上し,TARでの使用が示唆された。 RCV1-v2ニュースワイヤコレクションを模擬したTARワークフローにおいて,事前学習したBERTモデルによりレビューボリュームが30%削減されることがわかった。 対照的に、線形モデルは、Jeb Bushの電子メール収集における法的な発見をシミュレートするためのBERTよりも優れている。 これは、トランスフォーマプリトレーニングコーパスとタスクドメインのマッチングが一般的に評価されるよりも重要であることを示唆している。 さらに,能動的学習を始める前に,タスクコレクションの右翼言語モデルによる微調整が重要であることを示す。 RCV1-v2でも、微調整が多すぎると線形モデルよりも性能が悪くなる。

関連論文リスト

• REP: Resource-Efficient Prompting for On-device Continual Learning [23.92661395403251]
  オンデバイス連続学習(CL)は、モデル精度と資源効率の協調最適化を実践するために必要である。 CNNベースのCLは資源効率に優れており、ViTベースのCLはモデル性能に優れていると一般的に信じられている。 本稿では,プロンプトベースのリハーサルフリー手法を特化して資源効率を向上させるREPを紹介する。
  論文  参考訳（メタデータ） (2024-06-07T09:17:33Z)
• Contextualization with SPLADE for High Recall Retrieval [5.973857434357868]
  ハイリコール検索(High Recall Retrieval, HRR)は、あるコレクション内の最も関連性の高い文書を検索するコストを最適化する検索問題である。 本研究では,文書を文脈化されたスパースベクトルに変換する効率的な検索モデルであるSPLADEを活用する。 2つのHRR評価コレクションのレビューコストの10%と18%を1フェーズのレビューワークフローで削減し、80%のリコールを目標としている。
  論文  参考訳（メタデータ） (2024-05-07T03:05:37Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction [6.78974856327994]
  逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。 我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。 分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
  論文  参考訳（メタデータ） (2023-06-08T15:25:24Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• The Lottery Ticket Hypothesis for Pre-trained BERT Networks [137.99328302234338]
  自然言語処理(NLP)では、BERTのような巨大な事前学習モデルがトレーニングの標準出発点となっている。 並行して、抽選券仮説の研究により、NLPとコンピュータビジョンのモデルには、完全精度で個別にトレーニングできる小さなマッチングワークが含まれていることが示されている。 これらの観測と組み合わせて、トレーニング済みのBERTモデルにそのようなトレーニング可能なトランスファーブルワークが存在するかどうかを評価する。
  論文  参考訳（メタデータ） (2020-07-23T19:35:39Z)
• Gradient-Based Adversarial Training on Transformer Networks for Detecting Check-Worthy Factual Claims [3.7543966923106438]
  本稿では,最初の逆正則変換型クレームスポッタモデルを提案する。 現在の最先端モデルよりもF1スコアが4.70ポイント向上した。 本稿では,変換器モデルに逆学習を適用する手法を提案する。
  論文  参考訳（メタデータ） (2020-02-18T16:51:05Z)
• Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
  本稿では,大規模クエリ文書検索問題について考察する。 クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。 本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。