論文の概要: CoDi: Conversational Distillation for Grounded Question Answering

• arxiv url: http://arxiv.org/abs/2408.11219v1
• Date: Tue, 20 Aug 2024 22:35:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 19:09:22.818046
• Title: CoDi: Conversational Distillation for Grounded Question Answering
• Title（参考訳）: CoDi:接地質問回答のための会話蒸留
• Authors: Patrick Huber, Arash Einolghozati, Rylan Conway, Kanika Narang, Matt Smith, Waqar Nayyar, Adithya Sagar, Ahmed Aly, Akshat Shrivastava,
• Abstract要約: 我々はCoDiという新しいデータ蒸留フレームワークを導入する。 CoDiを使えば、大規模でアシスタントスタイルのデータセットを、さまざまな方法で合成することができます。 我々は,CoDi合成データを用いてトレーニングしたSLMが,標準的な測定値において,人間の注釈付きデータに基づいてトレーニングしたモデルに匹敵する性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 10.265241619616676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distilling conversational skills into Small Language Models (SLMs) with approximately 1 billion parameters presents significant challenges. Firstly, SLMs have limited capacity in their model parameters to learn extensive knowledge compared to larger models. Secondly, high-quality conversational datasets are often scarce, small, and domain-specific. Addressing these challenges, we introduce a novel data distillation framework named CoDi (short for Conversational Distillation, pronounced "Cody"), allowing us to synthesize large-scale, assistant-style datasets in a steerable and diverse manner. Specifically, while our framework is task agnostic at its core, we explore and evaluate the potential of CoDi on the task of conversational grounded reasoning for question answering. This is a typical on-device scenario for specialist SLMs, allowing for open-domain model responses, without requiring the model to "memorize" world knowledge in its limited weights. Our evaluations show that SLMs trained with CoDi-synthesized data achieve performance comparable to models trained on human-annotated data in standard metrics. Additionally, when using our framework to generate larger datasets from web data, our models surpass larger, instruction-tuned models in zero-shot conversational grounded reasoning tasks.
• Abstract（参考訳）: 会話スキルを約10億のパラメータでSLM(Small Language Models)に拡張することは、重大な課題である。 第一に、SLMはモデルパラメータにおいて、より大きなモデルと比較して広範な知識を学ぶ能力に制限がある。 第二に、高品質な会話データセットは少ない、小さい、ドメイン固有のものが多い。 これらの課題に対処するため、我々はCoDi(Codyと発音する会話蒸留のショート)と呼ばれる新しいデータ蒸留フレームワークを導入し、大規模でアシスタントスタイルのデータセットを多種多様な方法で合成できるようにしました。 具体的には、我々のフレームワークは、その中核にタスク非依存であるが、質問応答のための会話的根拠に基づく推論のタスクにおいて、CoDiの可能性を探求し、評価する。 これはスペシャリストSLMの典型的なオンデバイスシナリオであり、限られた重量で世界知識を「記憶」する必要がなく、オープンドメインのモデル応答を可能にする。 評価の結果,CoDi合成データを用いてトレーニングしたSLMは,標準的な測定値において,人間の注釈付きデータに基づいてトレーニングしたモデルに匹敵する性能を示した。 さらに、我々のフレームワークを使用してWebデータからより大きなデータセットを生成する場合、ゼロショットの会話に基づく推論タスクにおいて、我々のモデルは命令調整されたより大きなモデルを上回る。

関連論文リスト

• GenQA: Generating Millions of Instructions from a Handful of Prompts [67.54980063851605]
  ほとんどの公開命令微調整データセットは、業界モデルをトレーニングするために使用されるクローズドソースデータセットと比較して比較的小さい。 本研究では,1つのプロンプトから大規模命令データセットを生成する手法について検討する。 我々のデータセットは、知識集約型リーダーボードタスクと会話評価の両方で、WizardLMとUltrachatの両方に遭遇または超過します。
  論文  参考訳（メタデータ） (2024-06-14T17:44:08Z)
• LUCID: LLM-Generated Utterances for Complex and Interesting Dialogues [38.6183579217801]
  バーチャルアシスタントは、対話機能に関して飛躍的に前進する可能性がある。 しかし、真にトランスフォーメーションされたタスク指向の対話機能を実現するための大きなボトルネックは、高品質なデータの不足である。 LUCIDを使用して、100の意図にまたがる4,277の会話のシードデータセットを生成し、その能力を実証しています。
  論文  参考訳（メタデータ） (2024-03-01T11:33:53Z)
• Enhancing Chat Language Models by Scaling High-quality Instructional Conversations [91.98516412612739]
  まず,UltraChatという,体系的に設計され,多様で,情報的,大規模な会話データセットを提供する。 我々の目標は、人間がAIアシスタントで持つであろう対話の幅を捉えることです。 我々はLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成する。
  論文  参考訳（メタデータ） (2023-05-23T16:49:14Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Advanced Conditional Variational Autoencoders (A-CVAE): Towards interpreting open-domain conversation generation via disentangling latent feature representation [15.742077523458995]
  本稿では,メソスコピックスケールの特徴的絡み合いを伴う認知的アプローチを通じて,先行知識による生成モデルを活用することを提案する。 本稿では,潜在空間分布の解釈可能性を客観的に評価できるオープンドメイン対話のための新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-07-26T07:39:36Z)
• TANet: Thread-Aware Pretraining for Abstractive Conversational Summarization [27.185068253347257]
  我々はRedditコミュニティの複数人による議論に基づいて,RCSと呼ばれる大規模(11M)事前学習データセットを構築した。 次に、スレッド対応のTransformerベースのネットワークであるTANetを紹介する。 会話を文の列として扱う既存の事前学習モデルとは異なり、本質的な文脈依存は会話全体を理解する上で重要な役割を担っていると論じる。
  論文  参考訳（メタデータ） (2022-04-09T16:08:46Z)
• Impact of Dataset on Acoustic Models for Automatic Speech Recognition [0.0]
  音声認識において、GMM-HMMは音響モデリングに広く用いられてきた。 GMMモデルは、ハイブリッドディープニューラルネットワークモデルのトレーニングデータのアライメントを作成するために広く使用されている。 本研究の目的は,データセットサイズの変化が各種GMM-HMM音響モデルの性能に与える影響を検討することである。
  論文  参考訳（メタデータ） (2022-03-25T11:41:49Z)
• Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
  我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。 生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
  論文  参考訳（メタデータ） (2020-02-24T16:20:32Z)
• Modality-Balanced Models for Visual Dialogue [102.35406085738325]
  Visual Dialogタスクは、対話に対する次の応答を生成するために、画像情報と会話コンテキスト情報の両方を利用するモデルを必要とする。 過去の共同モダリティ(歴史とイメージ)モデルが過度に再現され,対話履歴を記憶する傾向が強いことを示す。 本稿では,共有パラメータを用いたアンサンブルとコンセンサス・ドロップアウト融合による2つのモデルの統合手法を提案する。
  論文  参考訳（メタデータ） (2020-01-17T14:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。