論文の概要: ConCSE: Unified Contrastive Learning and Augmentation for Code-Switched Embeddings

• arxiv url: http://arxiv.org/abs/2409.00120v2
• Date: Fri, 20 Dec 2024 07:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:22:22.887795
• Title: ConCSE: Unified Contrastive Learning and Augmentation for Code-Switched Embeddings
• Title（参考訳）: ConCSE: コードスイッチによる埋め込みのための統一されたコントラスト学習と拡張
• Authors: Jangyeong Jeon, Sangyeon Cho, Minuk Ma, Junyoung Kim,
• Abstract要約: 本稿では、2つの言語が1つの発話の中で交わるコードスイッチング(CS)現象について検討する。 我々は、他の言語におけるCSの現在の等価制約(EC)理論は、部分的にしか英語と韓国のCSの複雑さを捉えていないことを強調した。 我々は,このような課題を緩和するために,英語と韓国のCSシナリオに適した新しいKoglishデータセットを提案する。
• 参考スコア（独自算出の注目度）: 4.68732641979009
• License:
• Abstract: This paper examines the Code-Switching (CS) phenomenon where two languages intertwine within a single utterance. There exists a noticeable need for research on the CS between English and Korean. We highlight that the current Equivalence Constraint (EC) theory for CS in other languages may only partially capture English-Korean CS complexities due to the intrinsic grammatical differences between the languages. We introduce a novel Koglish dataset tailored for English-Korean CS scenarios to mitigate such challenges. First, we constructed the Koglish-GLUE dataset to demonstrate the importance and need for CS datasets in various tasks. We found the differential outcomes of various foundation multilingual language models when trained on a monolingual versus a CS dataset. Motivated by this, we hypothesized that SimCSE, which has shown strengths in monolingual sentence embedding, would have limitations in CS scenarios. We construct a novel Koglish-NLI (Natural Language Inference) dataset using a CS augmentation-based approach to verify this. From this CS-augmented dataset Koglish-NLI, we propose a unified contrastive learning and augmentation method for code-switched embeddings, ConCSE, highlighting the semantics of CS sentences. Experimental results validate the proposed ConCSE with an average performance enhancement of 1.77\% on the Koglish-STS(Semantic Textual Similarity) tasks.
• Abstract（参考訳）: 本稿では、2つの言語が1つの発話の中で交わるコードスイッチング(CS)現象について検討する。 英語と韓国語の間のCSの研究には顕著な必要性がある。 我々は,他の言語におけるCSの等価制約(EC)理論は,言語間の文法的な違いから,部分的には英語と韓国のCSの複雑さを捉えているに過ぎないことを強調した。 我々は,このような課題を緩和するために,英語と韓国のCSシナリオに適した新しいKoglishデータセットを提案する。 まず、様々なタスクにおけるCSデータセットの重要性と必要性を示すために、Koglish-GLUEデータセットを構築した。 CSデータセットに対する単言語学習において,様々な基礎言語モデルの差分結果が得られた。 そこで本研究では,単言語文の埋め込みにおける強みを示すSimCSEは,CSのシナリオに制限があることを仮定した。 我々はCS拡張に基づくアプローチを用いて、新しいKoglish-NLIデータセットを構築し、これを検証した。 このCS拡張データセットであるKoglish-NLIから,CS文のセマンティクスを強調したコードスイッチド埋め込みのためのコントラスト学習と拡張手法であるConCSEを提案する。 The Koglish-STS (Semantic Textual similarity) task。

関連論文リスト

• Grammatical Error Correction for Code-Switched Sentences by Learners of English [5.653145656597412]
  CSWテキスト上で文法誤り訂正システムの利用を初めて検討する。 我々は、既存のGECコーパス内で異なるテキストのスパンを翻訳することで、合成されたCSW GECデータセットを生成する。 次に,CSW比,スイッチポイント係数,言語制約に基づいて,これらのスパンを選択する方法について検討する。 我々の最良のモデルは、モノリンガルデータセット上でのモデルの性能に影響を与えることなく、3つのCSWテストセットの平均1.57ドルF_0.5$を達成する。
  論文  参考訳（メタデータ） (2024-04-18T20:05:30Z)
• Code-Switched Language Identification is Harder Than You Think [69.63439391717691]
  コードスイッチングは、文字と音声の通信において一般的な現象である。 CSコーパスの構築の応用について検討する。 タスクをもっと多くの言語に拡張することで、タスクをより現実的にします。 文レベルのマルチラベルタグ付け問題としてタスクを再構築し、より難易度の高いものにする。
  論文  参考訳（メタデータ） (2024-02-02T15:38:47Z)
• Speech collage: code-switched audio generation by collaging monolingual corpora [50.356820349870986]
  Speech Collage は音声セグメントをスプライシングすることでモノリンガルコーパスからCSデータを合成する手法である。 2つのシナリオにおける音声認識における生成データの影響について検討する。
  論文  参考訳（メタデータ） (2023-09-27T14:17:53Z)
• CTC-based Non-autoregressive Speech Translation [51.37920141751813]
  非自己回帰音声翻訳における接続性時間分類の可能性について検討する。 我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
  論文  参考訳（メタデータ） (2023-05-27T03:54:09Z)
• InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings [61.77760317554826]
  本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
  論文  参考訳（メタデータ） (2022-10-08T15:53:19Z)
• End-to-End Speech Translation for Code Switched Speech [13.97982457879585]
  コードスイッチング(英: Code switch, CS)とは、異なる言語の単語やフレーズを相互に使用する現象である。 我々は,音声翻訳作業(ST)における英語とスペイン語の会話の文脈において,CSに着目し,書き起こしと翻訳の両方を生成・評価する。 我々のSTアーキテクチャ、特に双方向のエンドツーエンドアーキテクチャは、CS訓練データを使用しなくても、CS音声でよく機能することを示す。
  論文  参考訳（メタデータ） (2022-04-11T13:25:30Z)
• Code-Switching Text Augmentation for Multilingual Speech Processing [36.302629721413155]
  音声コンテンツのコードスイッチングは、混合入力を処理するためにASRシステムに強制されている。 近年のASR研究は,多言語データを用いたCS現象の処理におけるE2E-ASRの優位性を示した。 音声CSテキストを人工的に生成し、異なる音声モジュールを改善するためのモノリンガルデータを強化する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-07T17:14:19Z)
• KARI: KAnari/QCRI's End-to-End systems for the INTERSPEECH 2021 Indian Languages Code-Switching Challenge [7.711092265101041]
  本稿では,低リソースのインド言語に対するICS(Interspeech 2021 Code-switching)チャレンジに参加するために使用される,Kanari/QCRIシステムとモデリング戦略について述べる。 このサブタスクには、ヒンディー語とベンガル語という2つのCSデータセットのための音声認識システムの開発が含まれていた。 CSの課題に対処するために、公開のモノリンガルヒンディー語、ベンガル語、英語の音声データを取り入れるためにトランスファーラーニングを利用する。
  論文  参考訳（メタデータ） (2021-06-10T16:12:51Z)
• GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction [107.8262586956778]
  言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。 GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。 そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-06T20:30:35Z)
• Style Variation as a Vantage Point for Code-Switching [54.34370423151014]
  Code-Switching (CS) は、複数のバイリンガルコミュニティや多言語コミュニティでよく見られる現象である。 両言語間のスタイルのバリエーションとして,CSの新たな特徴点を提示する。 本稿では,第1段階がCSの競合負例を生成し,第2段階がより現実的なCS文を生成する2段階生成逆トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-01T15:53:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。