論文の概要: Predicting the Target Word of Game-playing Conversations using a Low-Rank Dialect Adapter for Decoder Models

• arxiv url: http://arxiv.org/abs/2409.00358v1
• Date: Sat, 31 Aug 2024 05:53:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 15:23:54.160035
• Title: Predicting the Target Word of Game-playing Conversations using a Low-Rank Dialect Adapter for Decoder Models
• Title（参考訳）: デコーダモデルに対する低ランクディレクトアダプタを用いたゲームプレイング会話のターゲット語予測
• Authors: Dipankar Srirag, Aditya Joshi, Jacob Eisenstein,
• Abstract要約: 我々は、LoRDDと呼ばれるアーキテクチャのデコーダモデルに方言アダプタの考え方を拡張した。 LoRDDはタスクアダプタと方言アダプタを組み合わせており、後者はMD-3からの擬似並列会話に対照的な学習を取り入れている。 両モデル(Mistral と Gemma)における en-IN 会話の結果, LoRDD は TWP の 4 つのベースラインを上回り, en-US とのパフォーマンスギャップは単語類似度で 12% ,精度で 25% 向上した。
• 参考スコア（独自算出の注目度）: 16.289326589414404
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Dialect adapters that improve the performance of LLMs for NLU tasks on certain sociolects/dialects/national varieties ('dialects' for the sake of brevity) have been reported for encoder models. In this paper, we extend the idea of dialect adapters to decoder models in our architecture called LoRDD. Using MD-3, a publicly available dataset of word game-playing conversations between dialectal speakers, our task is Target Word Prediction (TWP) from a masked conversation. LoRDD combines task adapters and dialect adapters where the latter employ contrastive learning on pseudo-parallel conversations from MD-3. Our results for en-IN conversations on two models (Mistral and Gemma) show that LoRDD outperforms four baselines on TWP, while bridging the performance gap with en-US by 12% on word similarity and 25% on accuracy. The focused contribution of LoRDD is in its promise for dialect adaptation of decoder models.
• Abstract（参考訳）: エンコーダモデルでは,特定のソシオレクト/方言/国産品種(「簡潔性のための方言」)におけるNLUタスクのLLMの性能を向上させるダイアレクトアダプタが報告されている。 本稿では,LoRDDと呼ばれるアーキテクチャのデコーダモデルに対して,方言アダプタの概念を拡張した。 MD-3は,方言話者間の単語ゲームプレイング会話のデータセットとして公開されており,その課題は,マスク付き会話からターゲットワード予測(TWP)である。 LoRDDはタスクアダプタと方言アダプタを組み合わせており、後者はMD-3からの擬似並列会話に対照的な学習を取り入れている。 両モデル(Mistral と Gemma)における en-IN 会話の結果, LoRDD は TWP の 4 つのベースラインを上回り, en-US とのパフォーマンスギャップは単語類似度で 12% ,精度で 25% 向上した。 LoRDDの貢献は、デコーダモデルの方言適応を約束することにある。

関連論文リスト

• Add Noise, Tasks, or Layers? MaiNLP at the VarDial 2025 Shared Task on Norwegian Dialectal Slot and Intent Detection [22.89563355840371]
  スロットとインテント検出は、古典的な自然言語理解タスクである。 低リソースシナリオに対する多くのアプローチは、まだ方言SIDデータには適用されていない。 ノルウェー品種のスロットおよびインテント検出におけるVarDial 2025共有タスクに参加する。
  論文  参考訳（メタデータ） (2025-01-07T15:36:35Z)
• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• MultiTalk: Enhancing 3D Talking Head Generation Across Languages with Multilingual Video Dataset [14.026893125215912]
  多様な言語の音声から3D音声の頭部を生成する新しいタスクを提案する。 我々は,20言語で420時間以上の会話ビデオからなる,多言語2Dビデオデータセットを新たに収集した。 多言語設定におけるリップシンクの精度を評価するための指標を提案する。
  論文  参考訳（メタデータ） (2024-06-20T12:52:46Z)
• Evaluating Dialect Robustness of Language Models via Conversation Understanding [2.8514881296685113]
  私たちは「タブー」という語遊びをする人間同士の英語(アメリカ英語またはインド英語)の会話を使う。 目的語予測 (TWP) (textiti.e.$, predict the masked target word in a conversation) と目標語選択 (TWS) (textiti.e.$, select the most likely masked target word in a conversation) という2つの評価課題を定式化する。 私たちは、en-MV(en-USが方言情報を含むように変換される)とen-TR(方言情報を含む)の2つのサブセットを作成します。
  論文  参考訳（メタデータ） (2024-05-09T11:38:23Z)
• Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching [65.74653592668743]
  微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。 訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
  論文  参考訳（メタデータ） (2023-11-25T17:05:21Z)
• LaDA: Latent Dialogue Action For Zero-shot Cross-lingual Neural Network Language Modeling [20.002861239367704]
  言語間適応は限られた資源を持つ音声言語理解システムにおいて有効であることが証明されている。 既存の方法はしばしばインテント検出やスロットフィリングに不満足である。 復号化戦略を最適化するために、潜在対話アクション層が提案されている。
  論文  参考訳（メタデータ） (2023-08-05T15:51:45Z)
• SpokenWOZ: A Large-Scale Speech-Text Benchmark for Spoken Task-Oriented Dialogue Agents [72.42049370297849]
  SpokenWOZは音声TODのための大規模音声テキストデータセットである。 SpokenWOZでは、クロスターンスロットと推論スロット検出が新たな課題である。
  論文  参考訳（メタデータ） (2023-05-22T13:47:51Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Multi2WOZ: A Robust Multilingual Dataset and Conversational Pretraining for Task-Oriented Dialog [67.20796950016735]
  Multi2WOZデータセットは、中国語、ドイツ語、アラビア語、ロシア語の4つの言語にまたがる。 本稿では,任意の下流TODタスクに対する言語間移動を容易にすることを目的とした,事前学習言語モデル(PrLM)の多言語会話特化のための新しいフレームワークを提案する。 実験の結果,目標言語における(I)会話の特殊化と,(II)具体的なTODタスクのための少数ショット転送の組み合わせが,ほとんどの場合,最高の性能を示すことがわかった。
  論文  参考訳（メタデータ） (2022-05-20T18:35:38Z)
• Unsupervised Transfer Learning in Multilingual Neural Machine Translation with Cross-Lingual Word Embeddings [72.69253034282035]
  我々は、言語独立多言語文表現を活用し、新しい言語に容易に一般化する。 複数のロマンス言語を含むベースシステムを用いてポルトガル語から盲目的に復号し、ポルトガル語では36.4 BLEU、ロシア語では12.8 BLEUのスコアを得た。 非反復的逆翻訳によるより実用的な適応アプローチを探求し、高品質の翻訳を生産するモデルの能力を活用します。
  論文  参考訳（メタデータ） (2021-03-11T14:22:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。