論文の概要: Dilated Convolutional Neural Networks for Lightweight Diacritics Restoration

• arxiv url: http://arxiv.org/abs/2201.06757v1
• Date: Tue, 18 Jan 2022 06:10:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 12:58:05.547047
• Title: Dilated Convolutional Neural Networks for Lightweight Diacritics Restoration
• Title（参考訳）: 拡張畳み込みニューラルネットワークによる軽量ダイアクリティカルス修復
• Authors: B\'alint Csan\'ady, Andr\'as Luk\'acs
• Abstract要約: ラテン・アルファベットを基盤とした英語が支配するインターネット言語環境において、ダイアクリティカルリストアはユビキタスな課題となっている。 キャラクタレベルで動作する小さなフットプリント1D拡張畳み込みベースのアプローチについて述べる。 我々のソリューションは、同様のサイズのモデルの性能を超越し、より大きなモデルと競合する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diacritics restoration has become a ubiquitous task in the Latin-alphabet-based English-dominated Internet language environment. In this paper, we describe a small footprint 1D dilated convolution-based approach which operates on a character-level. We find that solutions based on 1D dilated convolutional neural networks are competitive alternatives to models based on recursive neural networks or linguistic modeling for the task of diacritics restoration. Our solution surpasses the performance of similarly sized models and is also competitive with larger models. A special feature of our solution is that it even runs locally in a web browser. We also provide a working example of this browser-based implementation. Our model is evaluated on different corpora, with emphasis on the Hungarian language. We performed comparative measurements about the generalization power of the model in relation to three Hungarian corpora. We also analyzed the errors to understand the limitation of corpus-based self-supervised training.
• Abstract（参考訳）: ディアクリティックスの復元は、ラテン・アルファベットベースの英語によるインターネット言語環境において、ユビキタスなタスクとなっている。 本稿では,文字レベルで機能する1次元拡張畳み込みに基づく小さなフットプリントについて述べる。 1次元拡張畳み込みニューラルネットワークに基づく解は,再帰的ニューラルネットワークに基づくモデルや,ダイアクリティックス修復作業のための言語モデルに対する競合的な代替手段であることがわかった。 我々のソリューションは、同様のサイズのモデルの性能を超え、より大きなモデルと競合する。 私たちのソリューションの特別な特徴は、Webブラウザ上でもローカルに実行されることです。 このブラウザベースの実装の動作例も提供します。 本モデルはハンガリー語に重点を置き,異なるコーポラ上で評価される。 3つのハンガリーコーポラに対して,モデルの一般化力に関する比較測定を行った。 また,コーパスに基づく自己指導訓練の限界を理解するために,誤りを分析した。

関連論文リスト

• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• Improving the Cross-Lingual Generalisation in Visual Question Answering [40.86774711775718]
  多言語視覚言語事前学習モデルは、非英語データに適用した場合、言語間一般化が不十分であることを示す。 本研究は、ゼロショット言語間視覚質問応答(VQA)タスクにおいて、これらのモデルの低性能について検討する。 我々は,(1)類似性に基づく損失によるクロスエントロピー損失を増大させる言語的事前目標を導入し,トレーニング中にモデルを導くこと,(2)言語的一般化を改善し,モデルの修正を伴わずに分散を低減するタスク固有のサブネットワークを学習すること,(3)合成コードを用いたトレーニング例を強化すること,の3つの戦略を用いて言語的事前移動を改善する。
  論文  参考訳（メタデータ） (2022-09-07T08:07:43Z)
• Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
  形態的に豊かな言語は機械翻訳に困難をもたらす。 多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。 いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。 言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
  論文  参考訳（メタデータ） (2022-03-25T10:13:20Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Cross-lingual Approach to Abstractive Summarization [0.0]
  言語間モデル転送は低リソース言語でうまく適用できる。 深層ニューラルネットワークとシークエンス・トゥ・シークエンスアーキテクチャに基づく事前学習型英語要約モデルを用いた。 対象言語データに異なる比率のモデルを開発し,微調整を行った。
  論文  参考訳（メタデータ） (2020-12-08T09:30:38Z)
• Effect of Word Embedding Models on Hate and Offensive Speech Detection [1.7403133838762446]
  単語埋め込みモデルとニューラルネットワークアーキテクチャの両方が予測精度に与える影響について検討する。 まず、大規模なアラビア文字コーパスに複数の単語埋め込みモデルを訓練する。 検出タスク毎に、事前学習された単語埋め込みモデルを用いて、ニューラルネットワーク分類器を訓練する。 このタスクは多数の学習モデルをもたらし、徹底的な比較を可能にする。
  論文  参考訳（メタデータ） (2020-11-23T02:43:45Z)
• Improving Context Modeling in Neural Topic Segmentation [18.92944038749279]
  階層型アテンションBiLSTMネットワークに基づくセグメンタを改良し、コンテキストをモデル化する。 最適化されたセグメンタは、3つのデータセットでトレーニングとテストを行った場合、SOTAアプローチよりも優れています。
  論文  参考訳（メタデータ） (2020-10-07T03:40:49Z)
• Neural Baselines for Word Alignment [0.0]
  4つの言語対に対する教師なし単語アライメントのためのニューラルモデルの検討と評価を行った。 我々は、IBM-1と隠れマルコフモデルのニューラルバージョンが、個々のモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-28T07:51:03Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。