論文の概要: Code-Mixed Probes Show How Pre-Trained Models Generalise On Code-Switched Text

• arxiv url: http://arxiv.org/abs/2403.04872v2
• Date: Tue, 7 May 2024 16:38:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 19:13:23.616071
• Title: Code-Mixed Probes Show How Pre-Trained Models Generalise On Code-Switched Text
• Title（参考訳）: Code-Mixed Probesは、事前訓練されたモデルがコード変換されたテキストにどのように一般化するかを示す
• Authors: Frances A. Laureano De Leon, Harish Tayyar Madabushi, Mark Lee,
• Abstract要約: 事前学習された言語モデルが3次元のコードスイッチトテキストをどのように扱うかを検討する。 その結果,事前学習した言語モデルは,コードスイッチトテキストへの一般化に有効であることが判明した。
• 参考スコア（独自算出の注目度）: 1.9185059111021852
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Code-switching is a prevalent linguistic phenomenon in which multilingual individuals seamlessly alternate between languages. Despite its widespread use online and recent research trends in this area, research in code-switching presents unique challenges, primarily stemming from the scarcity of labelled data and available resources. In this study we investigate how pre-trained Language Models handle code-switched text in three dimensions: a) the ability of PLMs to detect code-switched text, b) variations in the structural information that PLMs utilise to capture code-switched text, and c) the consistency of semantic information representation in code-switched text. To conduct a systematic and controlled evaluation of the language models in question, we create a novel dataset of well-formed naturalistic code-switched text along with parallel translations into the source languages. Our findings reveal that pre-trained language models are effective in generalising to code-switched text, shedding light on the abilities of these models to generalise representations to CS corpora. We release all our code and data including the novel corpus at https://github.com/francesita/code-mixed-probes.
• Abstract（参考訳）: コードスイッチング(Code-switching)は、多言語的個人が言語間でシームレスに交互に交替する一般的な言語現象である。 この領域で広く使われていることや最近の研究動向にもかかわらず、コードスイッチングの研究は、ラベル付きデータと利用可能なリソースの不足に起因して、独特な課題を呈している。 本研究では,事前学習された言語モデルが3次元のコード切替テキストをどのように扱うかを検討する。 a) PLMがコード変更テキストを検出する能力 b) PLMがコード変更テキストをキャプチャするために利用する構造情報のバリエーション及び c) コード変更文における意味情報表現の整合性 問題となっている言語モデルの体系的かつ制御された評価を行うため、我々は、ソースコードへの並列翻訳とともに、構造化された自然主義的なコードスイッチされたテキストの新しいデータセットを作成する。 この結果から,事前学習した言語モデルは,CSコーパスに表現を一般化するために,これらのモデルの能力に光を当てることによって,コードスイッチによるテキストの一般化に有効であることが判明した。 我々は、新しいコーパスを含むすべてのコードとデータをhttps://github.com/francesita/code-mixed-probes.comでリリースします。

関連論文リスト

• Linguistics Theory Meets LLM: Code-Switched Text Generation via Equivalence Constrained Large Language Models [16.82812708514889]
  1つの会話で2つ以上の言語を交互に交互に行うコードスイッチングは、自然言語処理(NLP)に特有の課題を提示する 既存の研究は構文的制約やニューラルジェネレーションに重点を置いており、言語理論を言語モデル(LLM)と統合して自然なコード変更テキストを生成する努力はほとんどない。 等価制約理論(ECT)とLLMを組み合わせた新しいフレームワークであるEZSwitchを導入する。
  論文  参考訳（メタデータ） (2024-10-30T03:03:32Z)
• CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
  大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。 CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。 5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-24T04:25:04Z)
• IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
  本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。 まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。 次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
  論文  参考訳（メタデータ） (2024-03-06T17:52:08Z)
• Share What You Already Know: Cross-Language-Script Transfer and Alignment for Sentiment Detection in Code-Mixed Data [0.0]
  コードスイッチングには複数の言語が混在しており、ソーシャルメディアのテキストでますます発生してきている現象である。 事前訓練された多言語モデルは、主に言語のネイティブスクリプトのデータを利用する。 各言語でネイティブスクリプトを使用すると、事前訓練された知識のため、テキストのより良い表現が生成される。
  論文  参考訳（メタデータ） (2024-02-07T02:59:18Z)
• AdaCCD: Adaptive Semantic Contrasts Discovery Based Cross Lingual Adaptation for Code Clone Detection [69.79627042058048]
  AdaCCDは、その言語でアノテーションを使わずに、新しい言語のクローンコードを検出する新しい言語間適応手法である。 5つのプログラミング言語からなる多言語コードクローン検出ベンチマークを構築し,AdaCCDの言語間適応性を評価する。
  論文  参考訳（メタデータ） (2023-11-13T12:20:48Z)
• Progressive Sentiment Analysis for Code-Switched Text Data [26.71396390928905]
  私たちは、ラベル付きリソース豊富な言語データセットと、ラベルなしのコード変更データを持つコード変更感情分析に重点を置いています。 資源豊富な言語と低リソース言語を区別する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-25T23:13:53Z)
• Improving Code-switching Language Modeling with Artificially Generated Texts using Cycle-consistent Adversarial Networks [41.88097793717185]
  コードスイッチング学習用テキストデータを人工的に生成する手法について検討する。 本稿では,単言語テキストをコードスイッチングテキストに転送するための,サイクル一貫性のある敵対的ネットワークベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-12T21:27:32Z)
• Deep Graph Matching and Searching for Semantic Code Retrieval [76.51445515611469]
  本稿では,グラフニューラルネットワークに基づくエンドツーエンドのディープグラフマッチングと探索モデルを提案する。 まず、自然言語クエリテキストとプログラミング言語のコードスニペットをグラフ構造化データで表現する。 特に、DGMSは、個々のクエリテキストやコードスニペットのより構造的な情報をキャプチャするだけでなく、それらの微妙な類似性も学習する。
  論文  参考訳（メタデータ） (2020-10-24T14:16:50Z)
• A Multi-Perspective Architecture for Semantic Code Search [58.73778219645548]
  テキストマッチングのための新しい多言語間ニューラルネットワークを提案する。 CoNaLaデータセットを用いた実験により,提案したモデルでは,従来の手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-05-06T04:46:11Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。