論文の概要: MaskLID: Code-Switching Language Identification through Iterative Masking

• arxiv url: http://arxiv.org/abs/2406.06263v1
• Date: Mon, 10 Jun 2024 13:44:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 13:48:16.021179
• Title: MaskLID: Code-Switching Language Identification through Iterative Masking
• Title（参考訳）: MaskLID:イテレーティブ・マスキングによるコードスイッチング言語識別
• Authors: Amir Hossein Kargaran, François Yvon, Hinrich Schütze,
• Abstract要約: MaskLID (MaskLID) は、単純だが効果的なコードスイッチング(英語版) (CS) 言語識別 (LID) 方式である。 MaskLIDはいかなる訓練も必要とせず、現在の高性能の文レベルLIDを補完するように設計されている。
• 参考スコア（独自算出の注目度）: 53.56700754408902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present MaskLID, a simple, yet effective, code-switching (CS) language identification (LID) method. MaskLID does not require any training and is designed to complement current high-performance sentence-level LIDs. Sentence-level LIDs are classifiers trained on monolingual texts to provide single labels, typically using a softmax layer to turn scores into probabilities. However, in cases where a sentence is composed in both L1 and L2 languages, the LID classifier often only returns the dominant label L1. To address this limitation, MaskLID employs a strategy to mask text features associated with L1, allowing the LID to classify the text as L2 in the next round. This method uses the LID itself to identify the features that require masking and does not rely on any external resource. In this work, we explore the use of MaskLID for two open-source LIDs (GlotLID and OpenLID), that are both based on the FastText architecture. Code and demo are available at https://github.com/cisnlp/MaskLID.
• Abstract（参考訳）: 本稿では,単純で効果的なコードスイッチング (CS) 言語識別 (LID) 手法である MaskLID を提案する。 MaskLIDはいかなる訓練も必要とせず、現在の高性能の文レベルLIDを補完するように設計されている。 文レベルのLIDは、単一のラベルを提供するために単言語テキストで訓練された分類器であり、通常はスコアを確率に変換するためにソフトマックス層を使用する。 しかし、ある文がL1言語とL2言語の両方で構成されている場合、LID分類器はしばしば支配的なラベルL1のみを返す。 この制限に対処するため、MaskLIDはL1に関連するテキスト機能をマスクする戦略を採用しており、LIDは次のラウンドでL2としてテキストを分類することができる。 この方法は、LID自体を使用して、マスクを必要とする機能を特定し、外部リソースに依存しない。 本稿では,FastTextアーキテクチャをベースとした2つのオープンソース LID (GlotLID と OpenLID) に対する MaskLID の利用について検討する。 コードとデモはhttps://github.com/cisnlp/MaskLID.comで公開されている。

関連論文リスト

• Identifying the Source of Generation for Large Language Models [21.919661430250798]
  LLM(Large Language Model)は、複数の文書ソースからのテキストを記憶する言語である。 LLMは生成されたコンテンツに関する文書情報を提供できない。 この研究は、デコードステップでトークンレベルのソース識別を導入する。
  論文  参考訳（メタデータ） (2024-07-05T08:52:15Z)
• On Bilingual Lexicon Induction with Large Language Models [81.6546357879259]
  本稿では,バイリンガル辞書開発における次世代大規模言語モデルの可能性について検討する。 本研究では,1) 教師なしBLIにおけるゼロショットプロンプトと,2) シード翻訳ペアの組による少数ショットインコンテキストプロンプトについて検討する。 私たちの研究は、テキストからテキストへのmLLMの強力なBLI機能を示す最初のものです。
  論文  参考訳（メタデータ） (2023-10-21T12:43:27Z)
• AskIt: Unified Programming Interface for Programming with Large Language Models [0.0]
  大規模言語モデル(LLM)は創発能力として知られるユニークな現象を示し、多くのタスクにまたがって適応性を示す。 本稿では,LLM用に特別に設計されたドメイン固有言語であるAskItを紹介する。 50タスクにわたって、AskItは簡潔なプロンプトを生成し、ベンチマークよりも16.14パーセントのプロンプト長の削減を実現した。
  論文  参考訳（メタデータ） (2023-08-29T21:44:27Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• Prompting Large Language Models for Zero-Shot Domain Adaptation in Speech Recognition [33.07184218085399]
  ドメイン固有のテキストプロンプトのみを用いて、LLaMAを用いた2つのゼロショットASRドメイン適応手法を提案する。 実験により、ドメインのプロンプトが1つしかないと、どちらの手法もドメイン外のTedLium-2とSPGIデータセットのワードエラー率(WER)を効果的に削減できることが示された。
  論文  参考訳（メタデータ） (2023-06-28T08:29:00Z)
• Joint Prompt Optimization of Stacked LLMs using Variational Inference [66.04409787899583]
  大規模言語モデル(LLM)は、列上の分布への計算マッピングシーケンスの原子単位と見なすことができる。 そのような2つのレイヤを積み重ねて1つのレイヤの出力を次のレイヤに供給することで、Deep Language Network(DLN)を得る。 DLN-2は単一層よりも高い性能に到達できることを示し、GPT-4に匹敵する性能に達することを約束する。
  論文  参考訳（メタデータ） (2023-06-21T18:45:56Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
  LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
  論文  参考訳（メタデータ） (2023-04-10T09:55:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。