論文の概要: BoK: Introducing Bag-of-Keywords Loss for Interpretable Dialogue Response Generation

• arxiv url: http://arxiv.org/abs/2501.10328v1
• Date: Fri, 17 Jan 2025 17:57:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:59:54.498639
• Title: BoK: Introducing Bag-of-Keywords Loss for Interpretable Dialogue Response Generation
• Title（参考訳）: BoK: 解釈可能な対話応答生成のためのBag-of-Keywords Lossの導入
• Authors: Suvodip Dey, Maunendra Sankar Desarkar,
• Abstract要約: Bag-of-Words(BoW)損失は、次の発話のすべての単語/単語を予測するためのクロスエントロピー損失として定義される。 BoK損失は、次の発話のキーワードまたはクリティカルワード/トークンのみを予測することで、BoW損失をアップグレードする。 本稿では,BoK損失が伴うことにより,バックボーンモデルの対話生成が向上すると同時に,ポストホックの解釈可能性も向上することを示す。
• 参考スコア（独自算出の注目度）: 13.412997332520616
• License:
• Abstract: The standard language modeling (LM) loss by itself has been shown to be inadequate for effective dialogue modeling. As a result, various training approaches, such as auxiliary loss functions and leveraging human feedback, are being adopted to enrich open-domain dialogue systems. One such auxiliary loss function is Bag-of-Words (BoW) loss, defined as the cross-entropy loss for predicting all the words/tokens of the next utterance. In this work, we propose a novel auxiliary loss named Bag-of-Keywords (BoK) loss to capture the central thought of the response through keyword prediction and leverage it to enhance the generation of meaningful and interpretable responses in open-domain dialogue systems. BoK loss upgrades the BoW loss by predicting only the keywords or critical words/tokens of the next utterance, intending to estimate the core idea rather than the entire response. We incorporate BoK loss in both encoder-decoder (T5) and decoder-only (DialoGPT) architecture and train the models to minimize the weighted sum of BoK and LM (BoK-LM) loss. We perform our experiments on two popular open-domain dialogue datasets, DailyDialog and Persona-Chat. We show that the inclusion of BoK loss improves the dialogue generation of backbone models while also enabling post-hoc interpretability. We also study the effectiveness of BoK-LM loss as a reference-free metric and observe comparable performance to the state-of-the-art metrics on various dialogue evaluation datasets.
• Abstract（参考訳）: 標準言語モデリング(LM)の損失自体が効果的な対話モデリングには不十分であることが示されている。 その結果、補助的損失関数や人的フィードバックの活用といった様々な訓練手法が、オープンドメイン対話システムを強化するために採用されている。 そのような補助的損失関数の1つはBag-of-Words(BoW)損失であり、次の発話のすべての単語/単語を予測するクロスエントロピー損失として定義される。 本研究では,キーワード予測による応答の中心的思考を捉えるために,Bag-of-Keywords(BoK)損失という新たな補助的損失を提案し,それを活用して,オープンドメイン対話システムにおける意味的かつ解釈可能な応答の生成を促進する。 BoK損失は、次の発話のキーワードやクリティカルワード/トークンのみを予測し、応答全体ではなくコアアイデアを見積もることによって、BoW損失をアップグレードする。 エンコーダ・デコーダ(T5)とデコーダ・オンリー(DialoGPT)アーキテクチャの両方にBoK損失を組み込み、BoKとLMの重み付け和を最小化するためにモデルを訓練する。 我々は、DailyDialogとPersona-Chatという2つの人気のあるオープンドメイン対話データセットで実験を行った。 本稿では,BoK損失が伴うことにより,バックボーンモデルの対話生成が向上すると同時に,ポストホックの解釈可能性も向上することを示す。 また,参照不要な指標としてのBoK-LM損失の有効性について検討し,各種対話評価データセットにおける最先端指標と同等の性能を観察する。

関連論文リスト

• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses [67.92595110412094]
  StreamingDialogueは長い対話履歴を最小限の損失でconv-attnシンクに圧縮する。 本手法は対話タスクにおいて強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-03-13T07:44:14Z)
• Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning [71.8876256714229]
  本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。 提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-01-09T05:16:52Z)
• Hi Model, generating 'nice' instead of 'good' is not as bad as generating 'rice'! Towards Context and Semantic Infused Dialogue Generation Loss Function and Evaluation Metric [46.26506372710482]
  本稿では,Semantic Infused Contextualized diaLogue (SemTextualLogue) ロス関数を提案する。 また、文脈と意味的関連性の両方を取り入れて、Dialuationと呼ばれる評価指標を定式化する。
  論文  参考訳（メタデータ） (2023-09-11T20:16:38Z)
• CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
  クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。 このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。 ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T18:31:50Z)
• Efficient CNN with uncorrelated Bag of Features pooling [98.78384185493624]
  Bag of Features (BoF)は、畳み込み層の複雑さを軽減するために最近提案されている。 本稿では,BoFプーリング上に構築した手法を用いて,学習辞書の項目が非冗長であることを保証する。 提案した戦略は、BoFの効率的な変種を生成し、追加のパラメータを使わずにその性能をさらに向上させる。
  論文  参考訳（メタデータ） (2022-09-22T09:00:30Z)
• CORAL: Contextual Response Retrievability Loss Function for Training Dialog Generation Models [12.654742638172307]
  コーラルはダイアログ生成タスクの強化学習ビューに基づく新規な損失関数である。 コンテキストと応答の両方を考慮して、生成された応答に対する人間の好みを推定する。 RLトレーニングの高サンプリング複雑性や大規模な行動空間といった課題を克服するため,混合政治学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-21T10:36:22Z)
• Learning-by-Narrating: Narrative Pre-Training for Zero-Shot Dialogue Comprehension [48.483910831143724]
  対話を補完するには、発話中の様々なキー情報をキャプチャするモデルが必要である。 そこで我々は,対話入力からキー情報をナレーションすることで学習する,物語誘導型事前学習戦略を開発した。
  論文  参考訳（メタデータ） (2022-03-19T05:20:25Z)
• DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances [18.199473005335093]
  本稿では,従来の PLM に基づく対話モデルを強化した対話応答生成モデルである DialogBERT を提案する。 発話間の談話レベルのコヒーレンスを効果的に把握するために,マスク付き発話回帰を含む2つの訓練目標を提案する。 3つのマルチターン会話データセットの実験により、我々のアプローチがベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-12-03T09:06:23Z)
• Persuasive Dialogue Understanding: the Baselines and Negative Results [27.162062321321805]
  本研究では,コンディショナルランダムフィールド(CRF)と組み合わされたトランスフォーマーベースのアプローチの限界を,説得的戦略認識の課題として示す。 話者間および話者内コンテキストセマンティックな特徴とラベル依存を利用して認識を改善する。
  論文  参考訳（メタデータ） (2020-11-19T16:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。