論文の概要: A Simple and Efficient Probabilistic Language model for Code-Mixed Text

• arxiv url: http://arxiv.org/abs/2106.15102v1
• Date: Tue, 29 Jun 2021 05:37:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 15:31:03.956795
• Title: A Simple and Efficient Probabilistic Language model for Code-Mixed Text
• Title（参考訳）: 符号混合テキストの簡易かつ効率的な確率的言語モデル
• Authors: M Zeeshan Ansari, Tanvir Ahmad, M M Sufyan Beg, Asma Ikram
• Abstract要約: コード混合テキストに対する効率的な単語埋め込みを構築するための単純な確率的アプローチを提案する。 双方向LSTMとSVMを用いた分類作業の有効性を検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The conventional natural language processing approaches are not accustomed to the social media text due to colloquial discourse and non-homogeneous characteristics. Significantly, the language identification in a multilingual document is ascertained to be a preceding subtask in several information extraction applications such as information retrieval, named entity recognition, relation extraction, etc. The problem is often more challenging in code-mixed documents wherein foreign languages words are drawn into base language while framing the text. The word embeddings are powerful language modeling tools for representation of text documents useful in obtaining similarity between words or documents. We present a simple probabilistic approach for building efficient word embedding for code-mixed text and exemplifying it over language identification of Hindi-English short test messages scrapped from Twitter. We examine its efficacy for the classification task using bidirectional LSTMs and SVMs and observe its improved scores over various existing code-mixed embeddings
• Abstract（参考訳）: 従来の自然言語処理アプローチは口語的談話や非均質な特徴からソーシャルメディアのテキストに慣れていない。 特に、情報検索、名前付きエンティティ認識、関係抽出など、複数の情報抽出アプリケーションにおいて、多言語文書における言語識別が先行するサブタスクであることが確認される。 この問題は、テキストをフレーミングしながら外国語の単語をベース言語に書き込むコード混合文書において、しばしば困難である。 単語埋め込みは、単語または文書間の類似性を得るために有用なテキスト文書の表現のための強力な言語モデリングツールである。 提案手法は,Hindi- English short test messageをTwitterから抽出した言語で識別し,効率の良い単語埋め込みを構築するための単純な確率論的手法である。 双方向lstmとsvmを用いた分類タスクの有効性を検証し,既存の各種コード混合組込みにおけるスコアの改善を観察した。

関連論文リスト

• A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
  我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。 英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
  論文  参考訳（メタデータ） (2024-03-05T13:55:16Z)
• Leveraging Language Identification to Enhance Code-Mixed Text Classification [0.7340017786387767]
  既存のディープラーニングモデルは、コード混合テキストの暗黙の言語情報を活用できない。 本研究の目的は,低リソースのCode-Mixed Hindi- Englishデータセット上でのBERTモデルの性能向上である。
  論文  参考訳（メタデータ） (2023-06-08T06:43:10Z)
• Are the Best Multilingual Document Embeddings simply Based on Sentence Embeddings? [18.968571816913208]
  本稿では,LASER,LaBSE,Sentence BERTを事前学習した多言語モデルに基づく文から文書レベルの表現を生成する手法を体系的に比較する。 文の埋め込みの巧妙な組み合わせは、通常、全文書を単一の単位としてエンコードするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-28T12:11:21Z)
• Language Lexicons for Hindi-English Multilingual Text Processing [0.0]
  現在の言語識別技術は、文書が固定された言語のセットの1つにテキストを含んでいることを前提としている。 ヒンディー語と英語の混合言語処理タスクのための大きな標準コーパスが利用できないため、言語辞書を提案する。 これらの語彙はヒンディー語と英語の語彙を翻訳して分類器を学習することによって作られる。
  論文  参考訳（メタデータ） (2021-06-29T05:42:54Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Feature Selection on Noisy Twitter Short Text Messages for Language Identification [0.0]
  アルゴリズムの効果を分析するために,様々な学習アルゴリズムに異なる特徴選択アルゴリズムを適用した。 この手法は、Twitterから抽出された6903ツイートの新しいデータセットを用いた単語レベルの言語識別に焦点を当てている。
  論文  参考訳（メタデータ） (2020-07-11T09:22:01Z)
• A Multi-Perspective Architecture for Semantic Code Search [58.73778219645548]
  テキストマッチングのための新しい多言語間ニューラルネットワークを提案する。 CoNaLaデータセットを用いた実験により,提案したモデルでは,従来の手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-05-06T04:46:11Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。