論文の概要: ChatZero:Zero-shot Cross-Lingual Dialogue Generation via Pseudo-Target Language

• arxiv url: http://arxiv.org/abs/2408.08724v1
• Date: Fri, 16 Aug 2024 13:11:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 15:24:50.780617
• Title: ChatZero:Zero-shot Cross-Lingual Dialogue Generation via Pseudo-Target Language
• Title（参考訳）: ChatZero:擬似ターゲット言語によるゼロショット対話生成
• Authors: Yongkang Liu, Feng Shi, Daling Wang, Yifei Zhang, Hinrich Schütze,
• Abstract要約: そこで本研究では,言語間符号切替方式に基づく,エンドツーエンドのゼロショット対話生成モデルChatZeroを提案する。 多言語DailyDialogとDSTC7-AVSDデータセットの実験は、ChatZeroが元のパフォーマンスの90%以上を達成することを示した。
• 参考スコア（独自算出の注目度）: 53.8622516025736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although large language models(LLMs) show amazing capabilities, among various exciting applications discovered for LLMs fall short in other low-resource languages. Besides, most existing methods depend on large-scale dialogue corpora and thus building systems for dialogue generation in a zero-shot scenario remains a considerable challenge. To address this challenge, we propose a novel end-to-end zero-shot dialogue generation model ChatZero based on cross-lingual code-switching method. First, we construct code-switching language and pseudo-target language with placeholders. Then for cross-lingual semantic transfer, we employ unsupervised contrastive learning to minimize the semantics gap of the source language, code-switching language, and pseudo-target language that are mutually positive examples in the high dimensional semantic space. Experiments on the multilingual DailyDialog and DSTC7-AVSD datasets demonstrate that ChatZero can achieve more than 90\% of the original performance under the zero-shot case compared to supervised learning, and achieve state-of-the-art performance compared with other baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は驚くべき機能を示しているが、LLMで発見された様々なエキサイティングなアプリケーションは、他の低リソース言語では不足している。 さらに、既存のほとんどの手法は大規模対話コーパスに依存しており、ゼロショットシナリオでの対話生成システムを構築することは大きな課題である。 この課題に対処するために,言語間コードスイッチング法に基づく,エンドツーエンドのゼロショット対話生成モデルChatZeroを提案する。 まず,プレースホルダーを用いたコードスイッチング言語と擬似ターゲット言語を構築する。 そして、言語間セマンティックトランスファーにおいて、高次元セマンティック空間における相互正の例であるソースコード、コードスイッチング言語、擬似ターゲット言語のセマンティックスギャップを最小限に抑えるために、教師なしのコントラスト学習を用いる。 多言語DailyDialogとDSTC7-AVSDデータセットの実験により、ChatZeroは教師付き学習と比較してゼロショットケースで90%以上のパフォーマンスを達成でき、他のベースラインと比較して最先端のパフォーマンスを達成できることが示された。

関連論文リスト

• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• LaDA: Latent Dialogue Action For Zero-shot Cross-lingual Neural Network Language Modeling [20.002861239367704]
  言語間適応は限られた資源を持つ音声言語理解システムにおいて有効であることが証明されている。 既存の方法はしばしばインテント検出やスロットフィリングに不満足である。 復号化戦略を最適化するために、潜在対話アクション層が提案されている。
  論文  参考訳（メタデータ） (2023-08-05T15:51:45Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• MulZDG: Multilingual Code-Switching Framework for Zero-shot Dialogue Generation [23.711903266714508]
  MulZDGは、大規模なトレーニングサンプルを持つ英語コーパスから、ゼロサンプルを持つ非英語コーパスへ、知識を効果的に転送することができる。 まず、単言語英語データセットからランダムに選択された翻訳発話を用いて、多言語コードスイッチング対話データセットを構築する。 次に、MulZDGを用いて、コードスイッチングデータセットに基づく統合多言語対話モデルを訓練する。
  論文  参考訳（メタデータ） (2022-08-18T04:28:20Z)
• Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding [90.87454350016121]
  コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。 言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
  論文  参考訳（メタデータ） (2022-05-07T13:44:28Z)
• Meta-X$_{NLG}$: A Meta-Learning Approach Based on Language Clustering for Zero-Shot Cross-Lingual Transfer and Generation [11.155430893354769]
  本稿では,類型的に多様な言語から共有可能な構造を学習するためのメタラーニングフレームワークを提案する。 まず、まず言語表現に基づいて言語をクラスタ化し、各クラスタのセントロイド言語を識別する。 メタ学習アルゴリズムは、全てのセントロイド言語で訓練され、ゼロショット設定で他の言語で評価される。
  論文  参考訳（メタデータ） (2022-03-19T05:22:07Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。