論文の概要: Code-Mixer Ya Nahi: Novel Approaches to Measuring Multilingual LLMs' Code-Mixing Capabilities

• arxiv url: http://arxiv.org/abs/2410.11079v1
• Date: Mon, 14 Oct 2024 20:40:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:04:12.555708
• Title: Code-Mixer Ya Nahi: Novel Approaches to Measuring Multilingual LLMs' Code-Mixing Capabilities
• Title（参考訳）: コードミキサーYa Nahi:多言語LLMのコードミキシング能力を計測するための新しいアプローチ
• Authors: Ayushman Gupta, Akhil Bhogal, Kripabandhu Ghosh,
• Abstract要約: Rule-Based Promptingは、コードミックス文を生成する新しいプロンプト技術である。 3つの多言語LLMの符号混合MT能力の測定と比較を行った。 また、$k$-shotプロンプトを使用して、多言語LLMの英語翻訳能力に混在するコードを測定する。
• 参考スコア（独自算出の注目度）: 3.359458926468223
• License:
• Abstract: Multilingual Large Language Models (LLMs) have demonstrated exceptional performance in Machine Translation (MT) tasks. However, their MT abilities in the context of code-switching (the practice of mixing two or more languages in an utterance) remain under-explored. In this paper, we introduce Rule-Based Prompting, a novel prompting technique to generate code-mixed sentences. We measure and compare the code-mixed MT abilities of 3 popular multilingual LLMs: GPT-3.5-turbo, GPT-4, and Gemini Pro across five language pairs: English-{Hindi, Bengali, Gujarati, French, Spanish} using $k$-shot prompting ($k\in\{0, 1, 10, 20\}$) and Rule-Based Prompting. Our findings suggest that though $k$-shot prompting often leads to the best results, Rule-Based prompting shows promise in generating unique code-mixed sentences that vary in their style of code-mixing. We also use $k$-shot prompting to gauge the code-mixed to English translation abilities of multilingual LLMs. For this purpose, we create a gold-standard code-mixed dataset spanning five language pairs: English-{Hindi, Bengali, Gujarati, French, Spanish}. As a real-world application of our work, we create a code-mixed chatbot.
• Abstract（参考訳）: 多言語大言語モデル(LLM)は機械翻訳(MT)タスクにおいて例外的な性能を示した。 しかし、コードスイッチング(発話中に2つ以上の言語を混合する慣行)の文脈におけるMTの能力はいまだ解明されていない。 本稿では,コード混合文を生成する新しいプロンプト技術であるルールベース・プロンプトを提案する。 GPT-3.5-turbo, GPT-4, Gemini Proの3つの言語対: 英語-{Hindi, Bengali, Gujarati, French, Spanish} の k$-shot プロンプト (k\in\{0, 1, 10, 20\}$) とルールベースプロンプト (ルールベースプロンプト) である。 私たちの発見は、$k$-shotプロンプトが最良の結果をもたらすことが多いことを示唆していますが、ルールベースプロンプトは、コードミックスのスタイルによって異なるユニークなコードミックス文を生成することを約束しています。 また、$k$-shotプロンプトを使用して、多言語LLMの英語翻訳能力に混在するコードを測定する。 この目的のために、私たちは5つの言語対(英語-{Hindi, Bengali, Gujarati, French, Spanish})にまたがるゴールドスタンダードのコード混合データセットを作成します。 私たちの仕事の現実のアプリケーションとして、コードミキシングされたチャットボットを作成します。

関連論文リスト

• Multilingual Controlled Generation And Gold-Standard-Agnostic Evaluation of Code-Mixed Sentences [3.359458926468223]
  GAME: A Gold-Standard Agnostic Measure for Evaluation of Code-Mixed文を紹介する。 ゲームは、評価のためにゴールドスタンダードのコード混合文を必要としないため、人間のアノテータは不要である。 4つの言語対にまたがるゴールドスタンダードのコード混合文を含むデータセットをリリースする。
  論文  参考訳（メタデータ） (2024-10-14T14:54:05Z)
• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
  視覚エンコーダとマルチモーダル大言語モデル(MLLM)の整合性に着目した既存手法 そこで本研究では,テキストガイダンスを用いて視覚的トークンアライメントを言語レベルで促進する新しい手法であるParrotを紹介する。 本手法は,多言語MMBenchおよびMMMB上での最先端性能を示すだけでなく,多モーダルタスクにも優れる。
  論文  参考訳（メタデータ） (2024-06-04T17:56:28Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• Marathi-English Code-mixed Text Generation [0.0]
  コードミキシング(Code-mixing)とは、異なる言語から意味のある文を作るための言語要素のブレンドである。 本研究では、CMI(Code Mixing Index)とDCM(Degree of Code Mixing)メトリクスを用いて評価した、マラタイ英語のコードミックステキスト生成アルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2023-09-28T06:51:26Z)
• Prompting Multilingual Large Language Models to Generate Code-Mixed Texts: The Case of South East Asian Languages [47.78634360870564]
  東南アジア7言語(SEA)のコードミキシングデータ生成のための多言語モデルの構築について検討する。 BLOOMZのような多言語学習モデルでは、異なる言語からフレーズや節でテキストを生成できないことが判明した。 ChatGPTは、コード混合テキストの生成において矛盾する機能を示しており、そのパフォーマンスはプロンプトテンプレートと言語ペアリングによって異なる。
  論文  参考訳（メタデータ） (2023-03-23T18:16:30Z)
• Exploring Text-to-Text Transformers for English to Hinglish Machine Translation with Synthetic Code-Mixing [19.19256927651015]
  モノリンガル英語のテキストをHinglish(コード混合ヒンディー語と英語)に変換するモデルを記述する。 事前訓練された言語モデルの最近の成功を踏まえ、トランスフォーマーベースのエンコーダデコーダモデルの実用性についても検証する。 私たちのモデルは、英語と英語の公式共有タスクの全体的なランキングで第一位です。
  論文  参考訳（メタデータ） (2021-05-18T19:50:25Z)
• Unsupervised Transfer Learning in Multilingual Neural Machine Translation with Cross-Lingual Word Embeddings [72.69253034282035]
  我々は、言語独立多言語文表現を活用し、新しい言語に容易に一般化する。 複数のロマンス言語を含むベースシステムを用いてポルトガル語から盲目的に復号し、ポルトガル語では36.4 BLEU、ロシア語では12.8 BLEUのスコアを得た。 非反復的逆翻訳によるより実用的な適応アプローチを探求し、高品質の翻訳を生産するモデルの能力を活用します。
  論文  参考訳（メタデータ） (2021-03-11T14:22:08Z)
• NLP-CUET@DravidianLangTech-EACL2021: Offensive Language Detection from Multilingual Code-Mixed Text using Transformers [0.0]
  本稿では,多言語コード混合データから不快テキストを識別する自動システムを提案する。 タミル語、マラヤラム語、カンナダ語を含む3つの言語で提供されるデータセット。
  論文  参考訳（メタデータ） (2021-02-28T11:10:32Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。