Fugu-MT 論文翻訳(概要): Continuous Active Learning Using Pretrained Transformers

論文の概要: Continuous Active Learning Using Pretrained Transformers

arxiv url: http://arxiv.org/abs/2208.06955v1
Date: Mon, 15 Aug 2022 01:09:19 GMT
ステータス: 処理完了
システム内更新日: 2022-08-16 13:28:50.123935
Title: Continuous Active Learning Using Pretrained Transformers
Title（参考訳）: 予習変圧器を用いた連続能動学習
Authors: Nima Sadri, Gordon V. Cormack
Abstract要約: 本稿では,TRECトータルリコールトラックのベースラインモデル実装を改善するために,トランスフォーマーモデルを用いて再ランク付けおよび/またはデファチュアライズを行うかを検討する。 CALBERTは、関連性フィードバックに基づいて、BERTベースのモデルを連続的に微調整できるモデルである。
参考スコア（独自算出の注目度）: 10.209947842666566
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Pre-trained and fine-tuned transformer models like BERT and T5 have improved the state of the art in ad-hoc retrieval and question-answering, but not as yet in high-recall information retrieval, where the objective is to retrieve substantially all relevant documents. We investigate whether the use of transformer-based models for reranking and/or featurization can improve the Baseline Model Implementation of the TREC Total Recall Track, which represents the current state of the art for high-recall information retrieval. We also introduce CALBERT, a model that can be used to continuously fine-tune a BERT-based model based on relevance feedback.
Abstract（参考訳）: BERTやT5のような事前訓練および微調整されたトランスフォーマーモデルでは、アドホック検索や質問応答の手法が改良されているが、ハイリコール情報検索では、ほぼすべての関連文書を検索することが目的である。情報検索技術の現状を表すtrecトータルリコールトラックのベースラインモデル実装を,トランスフォーマトモデルによる再ランキングおよび/または実現が改善するかどうかについて検討する。また、関連性フィードバックに基づいてBERTベースのモデルを連続的に微調整できるモデルであるCALBERTを紹介する。

関連論文リスト

REFINE on Scarce Data: Retrieval Enhancement through Fine-Tuning via Model Fusion of Embedding Models [14.023953508288628]
検索拡張生成(RAG)パイプラインは、質問応答(QA)などのタスクで一般的に使用される。本稿では,利用可能な文書から合成データを生成する新しい手法であるREFINEを提案する。
論文参考訳（メタデータ） (2024-10-16T08:43:39Z)
Towards a Transformer-Based Pre-trained Model for IoT Traffic Classification [0.6060461053918144]
最先端の分類法はDeep Learningに基づいている。実際の状況では、IoTトラフィックデータが不足しているため、モデルのパフォーマンスはそれほど良くない。大規模なラベル付きトランスフォーマーベースのIoTトラフィックデータセット上で事前トレーニングされたIoTトラフィック分類変換器(ITCT)を提案する。実験の結果、ITCTモデルは既存のモデルよりも大幅に優れ、全体的な精度は82%に達した。
論文参考訳（メタデータ） (2024-07-26T19:13:11Z)
ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
論文参考訳（メタデータ） (2023-08-17T19:12:13Z)
Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文参考訳（メタデータ） (2023-05-26T00:43:02Z)
Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
論文参考訳（メタデータ） (2023-03-13T17:59:02Z)
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文参考訳（メタデータ） (2022-10-19T16:19:37Z)
A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文参考訳（メタデータ） (2022-10-10T08:27:28Z)
Goldilocks: Just-Right Tuning of BERT for Technology-Assisted Review [14.689883695115519]
technology-assisted review (tar) は、ハイリコール検索タスクにおける文書レビューのための反復的なアクティブラーニングである。教師付きチューニングを備えたトランスフォーマーベースモデルは,多くのテキスト分類タスクにおいて有効性を向上させることが確認された。アクティブな学習を始める前にタスクコレクションを微調整する正当性言語モデルが重要であることを示す。
論文参考訳（メタデータ） (2021-05-03T17:41:18Z)
Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence [29.442579683405913]
Transformer-Kernel(TK)モデルは、TREC Deep Learningベンチマークで強力なリランクパフォーマンスを示しています。 TKLと呼ばれるTKモデルの変種が開発され、より長い入力シーケンスを効率的に処理するためにローカルの自己意識が組み込まれている。本稿では,より長い入力列にtkをスケールするための代替手法として,新しい適合層を提案する。
論文参考訳（メタデータ） (2021-04-19T15:32:34Z)
Exposing Shallow Heuristics of Relation Extraction Models with Challenge Data [49.378860065474875]
我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの故障モードを同定する。トレーニングの例として、いくつかの課題データを追加することで、モデルのパフォーマンスが向上する。
論文参考訳（メタデータ） (2020-10-07T21:17:25Z)
Gradient-Based Adversarial Training on Transformer Networks for Detecting Check-Worthy Factual Claims [3.7543966923106438]
本稿では,最初の逆正則変換型クレームスポッタモデルを提案する。現在の最先端モデルよりもF1スコアが4.70ポイント向上した。本稿では,変換器モデルに逆学習を適用する手法を提案する。
論文参考訳（メタデータ） (2020-02-18T16:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。