Fugu-MT 論文翻訳(概要): Joint Persian Word Segmentation Correction and Zero-Width Non-Joiner Recognition Using BERT

論文の概要: Joint Persian Word Segmentation Correction and Zero-Width Non-Joiner Recognition Using BERT

arxiv url: http://arxiv.org/abs/2010.00287v2
Date: Wed, 28 Oct 2020 09:40:18 GMT
ステータス: 処理完了
システム内更新日: 2022-10-12 08:01:56.455820
Title: Joint Persian Word Segmentation Correction and Zero-Width Non-Joiner Recognition Using BERT
Title（参考訳）: BERTを用いたペルシア語単語分割補正とゼロ幅非線形認識
Authors: Ehsan Doostmohammadi, Minoo Nassajian, Adel Rahimi
Abstract要約: 本稿では,ペルシャ語における単語セグメンテーションとゼロ幅ノンジョイント(ZWNJ)認識の問題に対処する。難易度の高い500文の丁寧に収集したコーパスを用いて, マクロ平均F1スコア92.40%を達成した。
参考スコア（独自算出の注目度）: 1.5469452301122177
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Words are properly segmented in the Persian writing system; in practice, however, these writing rules are often neglected, resulting in single words being written disjointedly and multiple words written without any white spaces between them. This paper addresses the problems of word segmentation and zero-width non-joiner (ZWNJ) recognition in Persian, which we approach jointly as a sequence labeling problem. We achieved a macro-averaged F1-score of 92.40% on a carefully collected corpus of 500 sentences with a high level of difficulty.
Abstract（参考訳）: 単語はペルシャ文字体系に適切に区分されるが、実際にはこれらの表記規則は無視されることが多く、単一の単語が不一致に書かれ、複数の単語が白いスペースなしで書かれる。本稿では,ペルシャ語における単語セグメンテーションとゼロ幅ノンジョイント(ZWNJ)認識の問題に対処し,シーケンスラベリング問題として共同でアプローチする。高難易度500文の注意深く収集したコーパスにおいて,マクロ平均f1スコア92.40%を達成した。

関連論文リスト

Homonym Sense Disambiguation in the Georgian Language [49.1574468325115]
本研究は,ジョージア語における単語センス曖昧化(WSD)課題に対する新しいアプローチを提案する。これは、ジョージアのCommon Crawls corpusをフィルタリングすることによって形成されたデータセットに基づいて、事前訓練されたLarge Language Model(LLM)の教師付き微調整に基づいている。
論文参考訳（メタデータ） (2024-04-24T21:48:43Z)
JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
論文参考訳（メタデータ） (2023-10-23T05:43:35Z)
DP-Parse: Finding Word Boundaries from Raw Speech with an Instance Lexicon [18.05179713472479]
DP-Parseも同様の原理を用いるが、ワードトークンのインスタンスレキシコンにのみ依存する。 Zero Resource Speech Benchmark 2017で、我々のモデルは5つの言語で新しい音声セグメンテーション状態を設定する。型レキシコンが欠如しているにもかかわらず、DP-Parseは言語モデルにパイプライン化され、新しい音声単語埋め込みベンチマークで評価されるように、セマンティック表現を学ぶことができる。
論文参考訳（メタデータ） (2022-06-22T19:15:57Z)
Short-Term Word-Learning in a Dynamically Changing Environment [63.025297637716534]
本稿では、単語/フレーズメモリと、このメモリにアクセスして単語やフレーズを正しく認識するためのメカニズムを用いて、エンドツーエンドのASRシステムを補完する方法を示す。誤報がわずかに増加しただけで, 単語の検出速度が大幅に向上した。
論文参考訳（メタデータ） (2022-03-29T10:05:39Z)
MarkBERT: Marking Word Boundaries Improves Chinese BERT [67.53732128091747]
MarkBERTは、語彙を漢字として保持し、連続した単語間の境界マーカーを挿入する。従来の単語ベースのBERTモデルと比較して、MarkBERTはテキスト分類、キーワード認識、意味的類似性タスクにおいて精度が向上している。
論文参考訳（メタデータ） (2022-03-12T08:43:06Z)
edATLAS: An Efficient Disambiguation Algorithm for Texting in Languages with Abugida Scripts [0.0]
アブティダ(abugida)は、各音節を単一の子音またはタイポグラフィーのリガチュアで表現する音素表記システムである。本稿では, あいまいな表現アルゴリズムを提案し, バグダ記述システムを用いた2つの新しい入力方式でその有用性を示す。ヒンディー語、ベンガル語、タイ語での入力速度は19.49%、25.13%、14.89%向上した。
論文参考訳（メタデータ） (2021-01-05T03:16:34Z)
Improving the Efficiency of Grammatical Error Correction with Erroneous Span Detection and Correction [106.63733511672721]
ESD(Eroneous Span Detection)とESC(Eroneous Span Correction)の2つのサブタスクに分割することで、文法的誤り訂正(GEC)の効率を改善するための言語に依存しない新しいアプローチを提案する。 ESDは、効率的なシーケンスタグ付けモデルを用いて文法的に誤りテキストスパンを識別する。ESCは、Seq2seqモデルを利用して、注釈付き誤字スパンの文を入力として取り、これらのスパンの修正テキストのみを出力する。実験の結果,提案手法は英語と中国語のGECベンチマークにおいて従来のセク2seq手法と同等に動作し,推論に要するコストは50%以下であった。
論文参考訳（メタデータ） (2020-10-07T08:29:11Z)
SST-BERT at SemEval-2020 Task 1: Semantic Shift Tracing by Clustering in BERT-based Embedding Spaces [63.17308641484404]
本稿では,異なる単語の意味の表現として,各単語の異なる事象のクラスタを特定することを提案する。得られたクラスタの分解は、自然に4つのターゲット言語において、各ターゲットワードごとの意味的シフトのレベルを定量化することができる。当社のアプローチは,提供されたすべてのSemEvalベースラインを抜いて,個別(言語毎)と全体の両方で良好に動作します。
論文参考訳（メタデータ） (2020-10-02T08:38:40Z)
A Large Multi-Target Dataset of Common Bengali Handwritten Graphemes [1.009810782568186]
そこで本稿では, 単語を線形に分割するラベリング手法を提案する。データセットには、1295のユニークなベンガルグラフエムの411kのキュレートされたサンプルが含まれている。このデータセットは、Kaggleの公開手書きグラフ分類チャレンジの一部として、オープンソースとして公開されている。
論文参考訳（メタデータ） (2020-10-01T01:51:45Z)
Robust Handwriting Recognition with Limited and Noisy Data [7.617456558732551]
私たちはメンテナンスログから手書き文字を学習することに重点を置いています。この問題を単語分割と単語認識の2段階に分割し,データ拡張技術を用いて両段階を訓練する。本システムは誤り率を低くし,ノイズや難解な文書を扱うのに適している。
論文参考訳（メタデータ） (2020-08-18T20:33:23Z)
Research on Annotation Rules and Recognition Algorithm Based on Phrase Window [4.334276223622026]
フレーズウィンドウに基づくラベリングルールを提案し,それに対応するフレーズ認識アルゴリズムを設計する。ラベル付けルールでは、フレーズを最小単位とし、文を7種類のネスト可能なフレーズタイプに分割し、フレーズ間の文法的依存関係を示す。対応するアルゴリズムは、画像中の対象領域を識別するアイデアに基づいて、文中の様々なフレーズの開始位置と終了位置を見つけることができる。
論文参考訳（メタデータ） (2020-07-07T00:19:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。