論文の概要: Do Encoder Representations of Generative Dialogue Models Encode Sufficient Information about the Task ?

• arxiv url: http://arxiv.org/abs/2106.10622v1
• Date: Sun, 20 Jun 2021 04:52:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 11:15:17.893285
• Title: Do Encoder Representations of Generative Dialogue Models Encode Sufficient Information about the Task ?
• Title（参考訳）: タスクに関する十分な情報を符号化する生成対話モデルのエンコーダ表現
• Authors: Prasanna Parthasarathi, Joelle Pineau, Sarath Chandar
• Abstract要約: 対話モデルの言語理解の健全さを適切に評価するには,人的・自動的な指標によるテキストの評価が不十分であることを示す。 本稿では,対話モデルで一般的に使用される言語エンコーダのエンコーダ表現を評価するための探索タスクを提案する。
• 参考スコア（独自算出の注目度）: 41.36218215755317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting the next utterance in dialogue is contingent on encoding of users' input text to generate appropriate and relevant response in data-driven approaches. Although the semantic and syntactic quality of the language generated is evaluated, more often than not, the encoded representation of input is not evaluated. As the representation of the encoder is essential for predicting the appropriate response, evaluation of encoder representation is a challenging yet important problem. In this work, we showcase evaluating the text generated through human or automatic metrics is not sufficient to appropriately evaluate soundness of the language understanding of dialogue models and, to that end, propose a set of probe tasks to evaluate encoder representation of different language encoders commonly used in dialogue models. From experiments, we observe that some of the probe tasks are easier and some are harder for even sophisticated model architectures to learn. And, through experiments we observe that RNN based architectures have lower performance on automatic metrics on text generation than transformer model but perform better than the transformer model on the probe tasks indicating that RNNs might preserve task information better than the Transformers.
• Abstract（参考訳）: 対話における次の発話の予測は、ユーザの入力テキストのエンコーディングに基づいて、データ駆動アプローチにおける適切な応答を生成する。 生成した言語の意味的・統語的品質は評価されるが、多くの場合、符号化された入力表現は評価されない。 適切な応答を予測するにはエンコーダの表現が不可欠であるため、エンコーダの表現の評価は困難だが重要な問題である。 本研究では,対話モデルにおける言語理解の健全さを適切に評価するには,人為的あるいは自動的な指標によるテキストの評価が不十分であることを示すとともに,対話モデルで一般的に使用される異なる言語エンコーダのエンコーダ表現を評価するためのプローブタスクのセットを提案する。 実験から、探索タスクのいくつかは簡単で、さらに高度なモデルアーキテクチャを学ぶのが難しいものもあります。 また,実験により,RNNベースのアーキテクチャはトランスフォーマーモデルよりもテキスト生成における自動メトリクスの性能が低いが,トランスフォーマーよりもタスク情報を保存できることを示すプローブタスクにおいて,トランスフォーマーモデルよりも優れていた。

関連論文リスト

• Sparse Autoencoders Enable Scalable and Reliable Circuit Identification in Language Models [0.0]
  本稿では,大規模言語モデルにおける解釈可能な回路を発見するための,効率的かつ堅牢な手法を提案する。 本稿では, 慎重に設計した正負の例に対して, スパースオートエンコーダを訓練する。 本研究は,スケーラブルかつ効率的な機械的解釈性を実現するための離散スパースオートエンコーダの実現を示唆するものである。
  論文  参考訳（メタデータ） (2024-05-21T06:26:10Z)
• Exploring Automatic Evaluation Methods based on a Decoder-based LLM for Text Generation [16.78350863261211]
  本稿では,エンコーダモデルを用いたチューニングや,同じ条件下での大規模言語モデルなど,様々な手法を比較する。 実験結果から, 調律エンコーダモデルと比較すると, 調律デコーダモデルの性能は低かった。 また、ChatGPTのような非常に大きなデコーダベースのモデルのコンテキスト内学習は、きめ細かいセマンティックな違いを識別することが困難であることも明らかにした。
  論文  参考訳（メタデータ） (2023-10-17T06:53:00Z)
• RECAP: Retrieval-Enhanced Context-Aware Prefix Encoder for Personalized Dialogue Response Generation [30.245143345565758]
  パーソナライズされた応答生成のための検索強化手法を提案する。 対話ドメインデータに基づいて訓練された階層型トランスフォーマーを設計し、パーソナライズされた検索を行うとともに、検索した情報をデコーダに効率的に融合するコンテキスト対応プレフィックスエンコーダを設計する。 人的および自動メトリクスの組でモデルの性能を定量的に評価し、英語のReddit会話における最先端のベースラインよりも優れていると判断した。
  論文  参考訳（メタデータ） (2023-06-12T16:10:21Z)
• Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
  ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。 文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:02:04Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• How To Evaluate Your Dialogue System: Probe Tasks as an Alternative for Token-level Evaluation Metrics [47.20761880464552]
  生成的対話モデリングは言語モデリングタスクとして広く見なされている。 このタスクは、エージェントが入力テキストを複雑な自然言語で理解し、ユーザと意味のある対話を行うように要求する。 使用される自動メトリクスは、生成されたテキストの品質を、エージェントの全体的相互作用のプロキシとして評価する。
  論文  参考訳（メタデータ） (2020-08-24T13:28:35Z)
• Contextualized Spoken Word Representations from Convolutional Autoencoders [2.28438857884398]
  本稿では,畳み込み型オートエンコーダに基づくニューラルアーキテクチャを提案し,様々な長さの音声単語の構文的かつ意味論的に適切な文脈化表現をモデル化する。 提案モデルでは,他の2つの言語モデルと比較して頑健性を示すことができた。
  論文  参考訳（メタデータ） (2020-07-06T16:48:11Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。