Fugu-MT 論文翻訳(概要): TrICy: Trigger-guided Data-to-text Generation with Intent aware Attention-Copy

論文の概要: TrICy: Trigger-guided Data-to-text Generation with Intent aware Attention-Copy

arxiv url: http://arxiv.org/abs/2402.01714v1
Date: Thu, 25 Jan 2024 20:17:06 GMT
ステータス: 処理完了
システム内更新日: 2024-02-11 16:27:37.709720
Title: TrICy: Trigger-guided Data-to-text Generation with Intent aware Attention-Copy
Title（参考訳）: TrICy: 意図を意識したトリガー誘導型テキスト生成
Authors: Vibhav Agarwal, Sourav Ghosh, Harichandana BSS, Himanshu Arora, Barath Raj Kandur Raja
Abstract要約: TrICyは拡張D2Tタスクのための軽量フレームワークである。我々は注意コピー機構を利用して語彙外単語を正確に予測する。
参考スコア（独自算出の注目度）: 3.770226046709029
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Data-to-text (D2T) generation is a crucial task in many natural language understanding (NLU) applications and forms the foundation of task-oriented dialog systems. In the context of conversational AI solutions that can work directly with local data on the user's device, architectures utilizing large pre-trained language models (PLMs) are impractical for on-device deployment due to a high memory footprint. To this end, we propose TrICy, a novel lightweight framework for an enhanced D2T task that generates text sequences based on the intent in context and may further be guided by user-provided triggers. We leverage an attention-copy mechanism to predict out-of-vocabulary (OOV) words accurately. Performance analyses on E2E NLG dataset (BLEU: 66.43%, ROUGE-L: 70.14%), WebNLG dataset (BLEU: Seen 64.08%, Unseen 52.35%), and our Custom dataset related to text messaging applications, showcase our architecture's effectiveness. Moreover, we show that by leveraging an optional trigger input, data-to-text generation quality increases significantly and achieves the new SOTA score of 69.29% BLEU for E2E NLG. Furthermore, our analyses show that TrICy achieves at least 24% and 3% improvement in BLEU and METEOR respectively over LLMs like GPT-3, ChatGPT, and Llama 2. We also demonstrate that in some scenarios, performance improvement due to triggers is observed even when they are absent in training.
Abstract（参考訳）: データ・トゥ・テキスト(D2T)生成は、多くの自然言語理解(NLU)アプリケーションにおいて重要なタスクであり、タスク指向対話システムの基盤を形成する。ユーザのデバイス上のローカルデータを直接扱える会話型AIソリューションのコンテキストでは、大きな事前学習言語モデル(PLM)を使用するアーキテクチャは、メモリフットプリントが高いため、デバイス上でのデプロイメントには実用的ではない。そこで本稿では,コンテキストのインテントに基づいてテキストシーケンスを生成する拡張d2tタスクのための新しい軽量フレームワークtricyを提案する。我々は注意コピー機構を利用して単語の単語を正確に予測する。 E2E NLGデータセット(BLEU:66.43%、ROUGE-L:70.14%)、WebNLGデータセット(BLEU:Seen 64.08%、Unseen 52.35%)および私たちのテキストメッセージアプリケーションに関連するカスタムデータセットのパフォーマンス分析は、アーキテクチャの有効性を示している。さらに、任意のトリガ入力を利用することで、データからテキストへの生成品質が大幅に向上し、新たなSOTAスコアが69.29% BLEU for E2E NLGとなることを示す。さらに,GPT-3, ChatGPT, Llama 2などのLLMに対して, BLEUおよびMETEORの少なくとも24%, 3%の改善が達成された。また,いくつかのシナリオでは,訓練中であってもトリガによるパフォーマンス向上が観察される。

関連論文リスト

TeleOracle: Fine-Tuned Retrieval-Augmented Generation with Long-Context Support for Network [4.551436852242372]
我々はPhi-2小言語モデル(SLM)上に構築された通信通信特化検索拡張生成(RAG)システムであるTeleOracleを紹介する。コンテキスト検索を改善するために、TeleOracleはセマンティックチャンキングとハイブリッドキーワードとセマンティック検索を組み合わせた2段階のレトリバーを使用している。モデルの性能を徹底的に分析した結果,我々のRAGフレームワークは,Phi-2モデルよりも30%精度が向上し,ダウンストリーム質問応答(QnA)タスクにおいてPhi-2を通信領域に整列させるのに有効であることが示唆された。
論文参考訳（メタデータ） (2024-11-04T21:12:08Z)
DetCLIPv3: Towards Versatile Generative Open-vocabulary Object Detection [111.68263493302499]
DetCLIPv3は、オープンボキャブラリオブジェクト検出と階層ラベルの両方で優れた高性能検出器である。 DetCLIPv3は,1)Versatileモデルアーキテクチャ,2)高情報密度データ,3)効率的なトレーニング戦略の3つのコア設計によって特徴付けられる。 DetCLIPv3は、GLIPv2, GroundingDINO, DetCLIPv2をそれぞれ18.0/19.6/6 APで上回り、優れたオープン語彙検出性能を示す。
論文参考訳（メタデータ） (2024-04-14T11:01:44Z)
Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
論文参考訳（メタデータ） (2024-02-08T03:41:39Z)
AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文参考訳（メタデータ） (2023-03-29T17:03:21Z)
What Makes Data-to-Text Generation Hard for Pretrained Language Models? [17.07349898176898]
構造化された事実や関係(D2T)の自然言語記述を表現することで、構造化された知識リポジトリのアクセシビリティが向上する。従来の研究は、タスク固有のトレーニングデータを大幅に微調整した後、事前学習された言語モデル(PLM)が、このタスクに対して驚くほどうまく機能していることを示している。 DARTマルチドメインD2Tデータセット上で、微調整と自動回帰PLMの両方について実証的研究を行う。
論文参考訳（メタデータ） (2022-05-23T17:58:39Z)
Self-augmented Data Selection for Few-shot Dialogue Generation [18.794770678708637]
我々は,MR-to-Text生成問題に対処するために,自己学習フレームワークを採用する。我々は,我々の生成モデルが最も不確実なデータを選択するための新しいデータ選択戦略を提案する。
論文参考訳（メタデータ） (2022-05-19T16:25:50Z)
A Semi-Supervised Deep Clustering Pipeline for Mining Intentions From Texts [6.599344783327053]
Verint Manager Intent(VIM)は、教師なしおよび半教師なしのアプローチを組み合わせた分析プラットフォームで、アナリストが会話テキストから関連するユーザの意図を素早く分析し整理するのに役立つ。データの最初の探索には、ハイパフォーマンスな言語モデルの微調整を統合する、教師なしで半教師なしのパイプラインを使用します。 BERTはタスクデータの0.5%のラベル付きサブセットを使用して、より優れたタスク認識表現を生成する。
論文参考訳（メタデータ） (2022-02-01T23:01:05Z)
Search and Learn: Improving Semantic Coverage for Data-to-Text Generation [30.07712039293558]
本研究では,テキスト生成に焦点をあてる。本稿では,事前学習された言語モデルを活用する検索学習手法を提案する。実験の結果,E2E と WikiBio のデータセットで高い性能が得られた。
論文参考訳（メタデータ） (2021-12-06T03:51:56Z)
Generative Conversational Networks [67.13144697969501]
本稿では,対話エージェントが独自のラベル付き学習データを生成することを学習する,生成会話ネットワーク(Generative Conversational Networks)というフレームワークを提案する。そこで本研究では,シードデータから学習したベースラインモデルに対して,意図検出が平均35%,スロットタグが平均21%向上したことを示す。
論文参考訳（メタデータ） (2021-06-15T23:19:37Z)
KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
論文参考訳（メタデータ） (2020-10-05T19:59:05Z)
Investigating Pretrained Language Models for Graph-to-Text Generation [55.55151069694146]
Graph-to-text生成は、グラフベースのデータから流動的なテキストを生成することを目的としている。本稿では,3つのグラフ領域,つまり表現,ウィキペディア知識グラフ(KG),科学的なKGについて検討する。我々は, PLM の BART と T5 が新たな最先端の成果を達成し, タスク適応型事前学習戦略が性能をさらに向上することを示す。
論文参考訳（メタデータ） (2020-07-16T16:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。