Fugu-MT 論文翻訳(概要): An Evaluation of Sindhi Word Embedding in Semantic Analogies and Downstream Tasks

論文の概要: An Evaluation of Sindhi Word Embedding in Semantic Analogies and Downstream Tasks

arxiv url: http://arxiv.org/abs/2408.15720v1
Date: Wed, 28 Aug 2024 11:36:29 GMT
ステータス: 処理完了
システム内更新日: 2024-08-29 16:10:57.767975
Title: An Evaluation of Sindhi Word Embedding in Semantic Analogies and Downstream Tasks
Title（参考訳）: セマンティック・アナロジーと下流課題におけるシンジ語埋め込みの評価
Authors: Wazir Ali, Saifullah Tumrani, Jay Kumar, Tariq Rahim Soomro,
Abstract要約: 我々は,複数のWebリソースから6100万以上の単語をクロールする新しい単語埋め込み型コーパスを提案する。クロールデータから不要なテキストをフィルタリングするための前処理パイプラインを設計する。クリーニングされた語彙は、最先端の連続バグ・オブ・ワード、スキップグラム、GloVeワード埋め込みアルゴリズムに供給される。
参考スコア（独自算出の注目度）: 2.3624125155742064
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose a new word embedding based corpus consisting of more than 61 million words crawled from multiple web resources. We design a preprocessing pipeline for the filtration of unwanted text from crawled data. Afterwards, the cleaned vocabulary is fed to state-of-the-art continuous-bag-of-words, skip-gram, and GloVe word embedding algorithms. For the evaluation of pretrained embeddings, we use popular intrinsic and extrinsic evaluation approaches. The evaluation results reveal that continuous-bag-of-words and skip-gram perform better than GloVe and existing Sindhi fastText word embedding on both intrinsic and extrinsic evaluation approaches
Abstract（参考訳）: 本稿では,複数のWebリソースから6100万以上の単語をクロールする単語埋め込み型コーパスを提案する。クロールデータから不要なテキストをフィルタリングするための前処理パイプラインを設計する。その後、クリーン化された語彙は最先端の連続バグ・オブ・ワード、スキップグラム、GloVeワードの埋め込みアルゴリズムに供給される。プレトレーニング埋め込みの評価には,本質的および外生的評価アプローチを用いる。評価結果から,GloVe と既存の Sindhi fastText の単語を内在的および外在的両方の評価手法に埋め込んだ場合よりも,連続バグ・オブ・ワードとスキップ・グラムの方が優れた結果が得られた。

関連論文リスト

An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
論文参考訳（メタデータ） (2024-03-30T15:29:49Z)
Analysing the Impact of Removing Infrequent Words on Topic Quality in LDA Models [0.0]
本稿では,低頻度単語の除去が,遅延ディリクレ割当を用いて推定したトピックの品質に与える影響について検討する。その結果, 刈り取りは有益であり, 取り除かれる可能性のある語彙のシェアは極めて大きいことが示唆された。
論文参考訳（メタデータ） (2023-11-24T14:20:12Z)
Copy Is All You Need [66.00852205068327]
既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
論文参考訳（メタデータ） (2023-07-13T05:03:26Z)
Integrating Bidirectional Long Short-Term Memory with Subword Embedding for Authorship Attribution [2.3429306644730854]
マニフォールド語に基づくスタイリスティックマーカーは、著者帰属の本質的な問題に対処するために、ディープラーニング手法でうまく使われてきた。提案手法は,CCAT50,IMDb62,Blog50,Twitter50の公営企業における最先端手法に対して実験的に評価された。
論文参考訳（メタデータ） (2023-06-26T11:35:47Z)
PWESuite: Phonetic Word Embeddings and Tasks They Facilitate [37.09948594297879]
音声による単語の埋め込みを構築するために,音声特徴を用いた3つの手法を開発した。また、過去、現在、将来のメソッドを適切に評価するためのタスクスイートも提供します。
論文参考訳（メタデータ） (2023-04-05T16:03:42Z)
Just Rank: Rethinking Evaluation with Word and Sentence Similarities [105.5541653811528]
埋め込みの本質的な評価はかなり遅れていますそして過去10年間重要な更新は行われていません本稿ではまず,単語と文の埋め込み評価におけるゴールドスタンダードとして意味的類似性を用いた問題点を指摘する。本稿では,下流タスクとより強い相関関係を示すEvalRankという本質的な評価手法を提案する。
論文参考訳（メタデータ） (2022-03-05T08:40:05Z)
Phrase Retrieval Learns Passage Retrieval, Too [77.57208968326422]
文節検索が,文節や文書を含む粗いレベルの検索の基盤となるかを検討する。句検索システムでは,句検索の精度が向上し,句検索の精度が向上していることを示す。また,句のフィルタリングやベクトル量子化により,インデックスのサイズを4～10倍に削減できることを示す。
論文参考訳（メタデータ） (2021-09-16T17:42:45Z)
Accelerating Text Mining Using Domain-Specific Stop Word Lists [57.76576681191192]
本稿では,超平面的アプローチと呼ばれるドメイン固有語の自動抽出手法を提案する。ハイパープレーンベースのアプローチは、無関係な特徴を排除することによって、テキストの寸法を著しく削減することができる。その結果,超平面型アプローチはコーパスの寸法を90%削減し,相互情報より優れることがわかった。
論文参考訳（メタデータ） (2020-11-18T17:42:32Z)
PBoS: Probabilistic Bag-of-Subwords for Generalizing Word Embedding [16.531103175919924]
単語の埋め込みを一般化する作業について検討する。有限語彙上の事前訓練された単語ベクトルの集合が与えられた場合、その目標は語彙外単語に対する埋め込みベクトルを予測することである。サブワードセグメント化を同時にモデル化し,サブワードをベースとした合成単語の埋め込みを計算できるモデルを提案する。
論文参考訳（メタデータ） (2020-10-21T08:11:08Z)
Comparative Analysis of Word Embeddings for Capturing Word Similarities [0.0]
分散言語表現は、様々な自然言語処理タスクにおいて、言語表現において最も広く使われている技術となっている。ディープラーニング技術に基づく自然言語処理モデルのほとんどは、単語埋め込みと呼ばれる、すでに訓練済みの分散単語表現を使用している。適切な単語の埋め込みを選択することは複雑な作業ですなぜなら、投影された埋め込み空間は人間にとって直感的ではないからです
論文参考訳（メタデータ） (2020-05-08T01:16:03Z)
Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
論文参考訳（メタデータ） (2020-02-24T12:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。