論文の概要: Effective Pre-Training Objectives for Transformer-based Autoencoders
- arxiv url: http://arxiv.org/abs/2210.13536v1
- Date: Mon, 24 Oct 2022 18:39:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 14:32:12.595037
- Title: Effective Pre-Training Objectives for Transformer-based Autoencoders
- Title（参考訳）: 変圧器を用いたオートエンコーダの効果的な事前学習目標
- Authors: Luca Di Liello, Matteo Gabburo, Alessandro Moschitti
- Abstract要約: トランスフォーマーエンコーダの効率,コスト,精度のトレードオフについて検討する。
共通の目的の機能を組み合わせて、新しい効果的な事前学習アプローチを作成します。
- 参考スコア（独自算出の注目度）: 97.99741848756302
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper, we study trade-offs between efficiency, cost and accuracy when
pre-training Transformer encoders with different pre-training objectives. For
this purpose, we analyze features of common objectives and combine them to
create new effective pre-training approaches. Specifically, we designed light
token generators based on a straightforward statistical approach, which can
replace ELECTRA computationally heavy generators, thus highly reducing cost.
Our experiments also show that (i) there are more efficient alternatives to
BERT's MLM, and (ii) it is possible to efficiently pre-train Transformer-based
models using lighter generators without a significant drop in performance.
- Abstract（参考訳）: 本稿では,事前学習対象の異なるトランスフォーマーエンコーダの効率,コスト,精度のトレードオフについて検討する。
この目的のために、我々は共通の目的の特徴を分析し、それらを組み合わせて、新しい効果的な事前学習アプローチを作成する。
具体的には, 直観的な統計的手法に基づいて軽量トークン生成器を設計し, エレクトラ計算量の多い発電機を置き換え, コストを大幅に削減した。
私たちの実験は
(i)BERTのMLMより効率的な代替品があり、
(II)軽量発電機を用いてトランスフォーマーをベースとしたモデルを効率よく事前訓練することが可能であり,性能は低下しない。
関連論文リスト
- TranDRL: A Transformer-Driven Deep Reinforcement Learning Enabled Prescriptive Maintenance Framework [58.474610046294856]
産業システムは、運用効率を高め、ダウンタイムを減らすための信頼性の高い予測保守戦略を要求する。
本稿では,Transformerモデルに基づくニューラルネットワークと深部強化学習(DRL)アルゴリズムの機能を活用し,システムの保守動作を最適化する統合フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-29T02:27:54Z) - Efficient Training for Visual Tracking with Deformable Transformer [0.0]
本稿では、エンドツーエンドのビジュアルオブジェクト追跡フレームワークであるDETRackを紹介する。
本フレームワークは、変形可能なトランスデコーダがターゲットヘッドとして機能する効率的なエンコーダ・デコーダ構造を用いる。
トレーニングには,新しい1対多ラベルの割り当てと補助的認知技術を導入する。
論文 参考訳（メタデータ） (2023-09-06T03:07:43Z) - Efficient Bayesian Optimization with Deep Kernel Learning and
Transformer Pre-trained on Multiple Heterogeneous Datasets [9.510327380529892]
本稿では,トランスフォーマーベースのエンコーダから学習した深い特徴に基づいてカーネルが定義されたガウス過程(GP)であるサロゲートを事前訓練する簡単な手法を提案する。
総合的および実ベンチマーク問題に対する実験は,提案した事前学習および転送BO戦略の有効性を実証するものである。
論文 参考訳（メタデータ） (2023-08-09T01:56:10Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Energy-Efficient Adaptive Machine Learning on IoT End-Nodes With
Class-Dependent Confidence [22.225875583595027]
少ない精度のドロップでエネルギー効率を得る効果的な方法は、ますます複雑なモデルの集合を順次実行することである。
現在の手法では、各モデルが生成する出力確率に1つのしきい値を用いる。
本手法は, シングルスレッド方式と比較して, エネルギー消費を大幅に削減できることを示す。
論文 参考訳（メタデータ） (2022-04-07T13:22:52Z) - Learning to Sample Replacements for ELECTRA Pre-Training [40.17248997321726]
ELECTRAは、置換トークンを検出するために識別器を事前訓練し、置換はマスク付き言語モデリングで訓練されたジェネレータからサンプリングされる。
この性能にもかかわらず、ELECTRAは以下の2つの問題に悩まされている。
ELECTRA事前学習における置換サンプリングを改善する2つの方法を提案する。
論文 参考訳（メタデータ） (2021-06-25T15:51:55Z) - Training ELECTRA Augmented with Multi-word Selection [53.77046731238381]
本稿では,マルチタスク学習に基づくELECTRAの改良を目的としたテキストエンコーダ事前学習手法を提案する。
具体的には、識別器を訓練し、置換トークンを同時に検出し、候補集合から元のトークンを選択する。
論文 参考訳（メタデータ） (2021-05-31T23:19:00Z) - Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。
マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文 参考訳（メタデータ） (2021-04-20T00:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。