論文の概要: Learning to Diversify for Product Question Generation

• arxiv url: http://arxiv.org/abs/2207.02534v1
• Date: Wed, 6 Jul 2022 09:26:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 13:48:11.129771
• Title: Learning to Diversify for Product Question Generation
• Title（参考訳）: プロダクトの質問生成を多様化する学習
• Authors: Haggai Roitman, Uriel Singer, Yotam Eshel, Alexander Nus, Eliyahu Kiperwasser
• Abstract要約: 本稿では,T5の事前学習型トランスフォーマー・デコーダモデルについて述べる。 本稿では,トランスフォーマーモデルによって学習された言語を豊かにするための,新たな学習・多様化(LTD)手法を提案する。
• 参考スコア（独自算出の注目度）: 68.69526529887607
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We address the product question generation task. For a given product description, our goal is to generate questions that reflect potential user information needs that are either missing or not well covered in the description. Moreover, we wish to cover diverse user information needs that may span a multitude of product types. To this end, we first show how the T5 pre-trained Transformer encoder-decoder model can be fine-tuned for the task. Yet, while the T5 generated questions have a reasonable quality compared to the state-of-the-art method for the task (KPCNet), many of such questions are still too general, resulting in a sub-optimal global question diversity. As an alternative, we propose a novel learning-to-diversify (LTD) fine-tuning approach that allows to enrich the language learned by the underlying Transformer model. Our empirical evaluation shows that, using our approach significantly improves the global diversity of the underlying Transformer model, while preserves, as much as possible, its generation relevance.
• Abstract（参考訳）: 我々は製品質問生成タスクに取り組みます。 製品の説明のために、私たちのゴールは、説明に欠けているか、あまりカバーされていないユーザ情報のニーズを反映した質問を作ることです。 さらに、さまざまな製品タイプにまたがる多様なユーザ情報のニーズについてもカバーしたいと考えています。 この目的のために,まずt5プリトレーニングトランスエンコーダ-デコーダモデルがどのようにタスクを微調整できるかを示す。 しかし、T5 が生成した質問はタスクの最先端手法 (KPCNet) と比較すると妥当な品質であるが、そのような質問の多くはまだ一般的すぎるため、世界規模での質問の多様性は準最適である。 代替として,トランスフォーマーモデルによって学習された言語を豊かにするための,新たな学習・多様化(LTD)手法を提案する。 実験により,本手法はトランスフォーマーモデルのグローバルな多様性を大幅に向上させるとともに,その生成関連性を可能な限り維持することを示す。

関連論文リスト

• In-Context Learning with Representations: Contextual Generalization of Trained Transformers [66.78052387054593]
  In-context Learning (ICL) は、事前訓練された大規模言語モデルの能力を指し、推論中にいくつか例を挙げると、新しいタスクを学習できる。 本稿では,非線形回帰タスクのレンズによる勾配降下による変圧器のトレーニングダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2024-08-19T16:47:46Z)
• Prompt-Engineering and Transformer-based Question Generation and Evaluation [0.0]
  本稿では,変換器モデルを用いてテキストデータから質問を生成する最良の方法を見つけ,エンジニアリングを急ぐことを目的とする。 生成した質問は、SQuADデータセットのベースライン質問と比較し、4つの異なるプロンプトの有効性を評価した。
  論文  参考訳（メタデータ） (2023-10-29T01:45:30Z)
• VOLTA: Improving Generative Diversity by Variational Mutual Information Maximizing Autoencoder [38.35049378875308]
  VOLTAは,VAEでトランスフォーマーをブリッジすることで,遺伝子多様性を高めるフレームワークである。 6つのデータセット上で2種類のトランスフォーマーを用いた総合的な実験を行い、生成品質を維持しながら生成の多様性を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-07-03T08:45:42Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• An Overview on Controllable Text Generation via Variational Auto-Encoders [15.97186478109836]
  ニューラルベース生成モデリングの最近の進歩は、コンピュータシステムが人間と会話できるという期待を再燃させた。 変分自動エンコーダ(VAE)のような潜在変数モデル(LVM)は、テキストデータの分布パターンを特徴付けるように設計されている。 この概要は、既存の生成方式、テキスト変分自動エンコーダに関連する問題、および制御可能な生成に関するいくつかのアプリケーションについて概説する。
  論文  参考訳（メタデータ） (2022-11-15T07:36:11Z)
• Semantic-aware Modular Capsule Routing for Visual Question Answering [55.03883681191765]
  SuPER と呼ばれるセマンティック・アウェアな modUlar caPsulE フレームワークを提案する。 5つのベンチマークデータセットに対して提案した SUPER スキームの有効性と一般化能力を比較検討した。
  論文  参考訳（メタデータ） (2022-07-21T10:48:37Z)
• KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
  我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。 提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。 我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
  論文  参考訳（メタデータ） (2021-12-16T04:37:10Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)
• Simplifying Paragraph-level Question Generation via Transformer Language Models [0.0]
  質問生成(QG)は、ある入力テキストに対応する質問をモデルに訓練する自然言語生成タスクである。 1つのTransformerベースの一方向言語モデルで、トランスファーラーニングを利用して高品質な質問を生成することができる。 我々のQGモデルは、GPT-2 Smallから微調整され、SQuADデータセット上のいくつかの段落レベルのQGベースラインを0.95 METEORポイントで上回る。
  論文  参考訳（メタデータ） (2020-05-03T14:57:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。