Fugu-MT 論文翻訳(概要): Which *BERT? A Survey Organizing Contextualized Encoders

論文の概要: Which *BERT? A Survey Organizing Contextualized Encoders

arxiv url: http://arxiv.org/abs/2010.00854v1
Date: Fri, 2 Oct 2020 08:34:34 GMT
ステータス: 処理完了
システム内更新日: 2022-10-12 00:31:18.432628
Title: Which *BERT? A Survey Organizing Contextualized Encoders
Title（参考訳）: どの*ベルト? 文脈化エンコーダの組織化に関する調査
Authors: Patrick Xia, Shijie Wu, Benjamin Van Durme
Abstract要約: 本研究は,近年の多種多様な取り組みを通じて学習された一連の共有学習を統合することを目的とした,言語表現学習に関する調査である。我々は、最近のコントリビューションを解釈し、使用するモデルを選択する際の重要な考慮点を強調します。
参考スコア（独自算出の注目度）: 39.86754227002167
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pretrained contextualized text encoders are now a staple of the NLP community. We present a survey on language representation learning with the aim of consolidating a series of shared lessons learned across a variety of recent efforts. While significant advancements continue at a rapid pace, we find that enough has now been discovered, in different directions, that we can begin to organize advances according to common themes. Through this organization, we highlight important considerations when interpreting recent contributions and choosing which model to use.
Abstract（参考訳）: 事前訓練された文脈化されたテキストエンコーダは、今やNLPコミュニティの基盤となっている。本稿では,近年の様々な取り組みを通して学習した一連の共有学習を統合することを目的として,言語表現学習に関する調査を行う。急速な進歩は継続するが、現在、様々な方向に、共通テーマに従って進展を整理し始めるのに十分なものが発見されている。この組織を通じて、最近のコントリビューションを解釈し、使用するモデルを選択する際の重要な考慮事項を強調します。

関連論文リスト

Few-Shot Learning on Graphs: from Meta-learning to Pre-training and Prompting [56.25730255038747]
この調査は、最近の展開を合成し、比較洞察を提供し、将来の方向性を特定するための取り組みである。我々は,既存の研究をメタラーニングアプローチ,事前学習アプローチ,ハイブリッドアプローチの3つの主要なファミリーに体系的に分類した。これらの手法間の関係を解析し,その強みと限界を比較する。
論文参考訳（メタデータ） (2024-02-02T14:32:42Z)
Recent Advances in Hate Speech Moderation: Multimodality and the Role of Large Models [52.24001776263608]
この包括的調査は、HSモデレーションの最近の歩みを掘り下げている。大型言語モデル(LLM)と大規模マルチモーダルモデル(LMM)の急成長する役割を強調した。研究における既存のギャップを、特に表現不足言語や文化の文脈で特定する。
論文参考訳（メタデータ） (2024-01-30T03:51:44Z)
Towards Open Vocabulary Learning: A Survey [146.90188069113213]
ディープニューラルネットワークは,セグメンテーションやトラッキング,検出といった,さまざまなコアタスクにおいて,目覚ましい進歩を遂げている。近年、視覚言語事前学習の急速な進歩により、オープンな語彙設定が提案されている。本稿では,その分野における最近の発展を要約し分析し,オープンな語彙学習の徹底的なレビューを行う。
論文参考訳（メタデータ） (2023-06-28T02:33:06Z)
Large Language Models Can be Lazy Learners: Analyze Shortcuts in In-Context Learning [28.162661418161466]
大規模言語モデル(LLM)は、最近、コンテキスト内学習に大きな可能性を示している。本稿では,ショートカットやプロンプト内のスプリアス相関に対するLDMsの依存度について検討する。より大規模なモデルでは、推論中にプロンプトでショートカットを利用する可能性が高くなるという驚くべき発見が明らかになった。
論文参考訳（メタデータ） (2023-05-26T20:56:30Z)
Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey [8.427521246916463]
事前学習型言語モデル(PLM)は,大規模テキストコーパス上で情報表現を学習することで,新たなパラダイムを確立した。この新しいパラダイムは、自然言語処理の分野全体に革命をもたらし、さまざまなNLPタスクに対して、新しい最先端のパフォーマンスを設定した。この問題に対処するため, PLM への知識統合は近年, 非常に活発な研究領域となり, 様々なアプローチが開発されている。
論文参考訳（メタデータ） (2021-10-16T03:27:56Z)
Analysis of Language Change in Collaborative Instruction Following [15.605114421965045]
実用性を最大化する参加者がコンベンションを形成し、専門性を向上する、協調的な目標指向の指導タスクにおいて、言語の変化を経時的に分析する。指導力を高める能力を考えると、教師はこれらの研究領域に沿って言語複雑性を増大させ、より熟練した指導者とよりよく協力できることが分かる。
論文参考訳（メタデータ） (2021-09-09T17:51:59Z)
ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文参考訳（メタデータ） (2020-12-30T03:35:22Z)
Visually Grounded Continual Learning of Compositional Phrases [45.60521849859337]
VisCOLLは、ストリーミング視覚シーンからの合成フレーズの連続的な取得をシミュレートする。モデルは、シフトするオブジェクト分布を持つペア画像キャプチャストリームでトレーニングされる。それらは、ホールドアウトテストセット上で、視覚的にグラウンド化されたマスク付き言語予測タスクによって常に評価される。
論文参考訳（メタデータ） (2020-05-02T10:45:30Z)
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。