Fugu-MT 論文翻訳(概要): UniCase -- Rethinking Casing in Language Models

論文の概要: UniCase -- Rethinking Casing in Language Models

arxiv url: http://arxiv.org/abs/2010.11936v1
Date: Thu, 22 Oct 2020 17:58:44 GMT
ステータス: 処理完了
システム内更新日: 2022-10-04 05:02:37.856100
Title: UniCase -- Rethinking Casing in Language Models
Title（参考訳）: UniCase - 言語モデルにおけるケースの再考
Authors: Rafal Powalski and Tomasz Stanislawek
Abstract要約: 言語モデリング(LM)におけるケースセンシティネス問題に対する新しいアプローチを提案する。我々は,RoBERTa言語モデルに対して,統一ケースLM(UniCase)と命名した新しいトークン化戦略を伴って,シンプルなアーキテクチャ変更を提案する。
参考スコア（独自算出の注目度）: 0.0913755431537592
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we introduce a new approach to dealing with the problem of case-sensitiveness in Language Modelling (LM). We propose simple architecture modification to the RoBERTa language model, accompanied by a new tokenization strategy, which we named Unified Case LM (UniCase). We tested our solution on the GLUE benchmark, which led to increased performance by 0.42 points. Moreover, we prove that the UniCase model works much better when we have to deal with text data, where all tokens are uppercased (+5.88 point).
Abstract（参考訳）: 本稿では,言語モデリング(lm)におけるケースセンシティブな問題に対処するための新しいアプローチを提案する。我々は,RoBERTa言語モデルに対して,統一ケースLM (UniCase) と名付けた新しいトークン化戦略を伴って,シンプルなアーキテクチャ変更を提案する。 GLUEベンチマークでソリューションをテストした結果、パフォーマンスが0.42ポイント向上しました。さらに、すべてのトークンが上書きされているテキストデータを扱う必要がある場合(+5.88ポイント)、UniCaseモデルはよりうまく機能することを示す。

関連論文リスト

Determine-Then-Ensemble: Necessity of Top-k Union for Large Language Model Ensembling [23.447466392929712]
大規模言語モデル(LLM)は、様々なタスクに様々な長所と短所を示す。既存のLLMアンサンブル法は、しばしばモデルの互換性を見落とし、確率の非効率なアライメントに苦しむ。 textscUnion textscTop-$k$ textscEnsembling (textscUniTE)は,各モデルから上位kトークンの結合に着目し,効率的にモデルを結合する新しいアプローチである。
論文参考訳（メタデータ） (2024-10-03T08:42:38Z)
Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文参考訳（メタデータ） (2024-02-27T14:16:19Z)
Unsupervised Lexical Simplification with Context Augmentation [55.318201742039]
対象単語とその文脈が与えられた場合、対象コンテキストと単言語データからサンプル化した追加コンテキストに基づいて置換語を生成する。我々は、TSAR-2022共有タスクにおいて、英語、ポルトガル語、スペイン語で実験を行い、我々のモデルは、すべての言語で、他の教師なしシステムよりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2023-11-01T05:48:05Z)
Improving Aspect-Based Sentiment with End-to-End Semantic Role Labeling Model [6.85316573653194]
本稿では,Aspect-Based Sentiment Analysis(ABSA)の性能向上を目的とした一連のアプローチを提案する。本稿では,トランスフォーマーの隠蔽状態における構造的意味情報の大部分を効果的にキャプチャする,エンドツーエンドのセマンティックロールラベルモデルを提案する。 ELECTRA小モデルを用いて,提案したモデルを英語とチェコ語で評価した。
論文参考訳（メタデータ） (2023-07-27T11:28:16Z)
Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
論文参考訳（メタデータ） (2023-05-28T13:19:12Z)
Cross-lingual Similarity of Multilingual Representations Revisited [0.0]
CKA/CCAの仮定は、言語間学習分析のモチベーションの1つとよく一致しない。 CKA/CCAの難易度を除外した簡単な代替手段として,textitAverage Neuron-Wise correlation (ANC)を導入した。
論文参考訳（メタデータ） (2022-12-04T21:02:07Z)
CaMEL: Case Marker Extraction without Labels [7.245261469258502]
本稿では,計算形態学の新しい課題であるCaMEL(Case Marker extract without Labels)を紹介する。名詞句チャンパーとアライメントシステムのみをベースとして,多言語コーパスを用いて83言語でケースマーカーを抽出するCaMELの最初のモデルを提案する。
論文参考訳（メタデータ） (2022-03-18T15:20:14Z)
Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction [80.61458287741131]
ゼロショット言語間イベント引数抽出(EAE)における多言語事前学習型生成言語モデルの活用について検討する。 EAEを言語生成タスクとして定式化することにより、イベント構造を効果的にエンコードし、引数間の依存関係をキャプチャする。提案するモデルでは,多言語事前学習型生成言語モデルを用いて,入力文から抽出した引数で言語に依存しないテンプレートを補う文を生成する。
論文参考訳（メタデータ） (2022-03-15T23:00:32Z)
Explicitly Modeling Syntax in Language Models with Incremental Parsing and a Dynamic Oracle [88.65264818967489]
我々は新しい構文認識型言語モデル、Syntactic Ordered Memory (SOM)を提案する。モデルは、構造をインクリメンタルにモデル化し、標準言語モデルの条件付き確率設定を維持する。実験により、SOMは言語モデリング、インクリメンタル解析、構文一般化テストにおいて強力な結果が得られることが示された。
論文参考訳（メタデータ） (2020-10-21T17:39:15Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。