論文の概要: Informed Sampling for Diversity in Concept-to-Text NLG
- arxiv url: http://arxiv.org/abs/2004.14364v2
- Date: Tue, 21 Sep 2021 12:23:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 12:48:59.085645
- Title: Informed Sampling for Diversity in Concept-to-Text NLG
- Title（参考訳）: 概念テキストNLGにおける多様性のためのインフォームドサンプリング
- Authors: Giulio Zhou and Gerasimos Lampouras
- Abstract要約: 本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。
具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
- 参考スコア（独自算出の注目度）: 8.883733362171034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep-learning models for language generation tasks tend to produce repetitive
output. Various methods have been proposed to encourage lexical diversity
during decoding, but this often comes at a cost to the perceived fluency and
adequacy of the output. In this work, we propose to ameliorate this cost by
using an Imitation Learning approach to explore the level of diversity that a
language generation model can reliably produce. Specifically, we augment the
decoding process with a meta-classifier trained to distinguish which words at
any given timestep will lead to high-quality output. We focus our experiments
on concept-to-text generation where models are sensitive to the inclusion of
irrelevant words due to the strict relation between input and output. Our
analysis shows that previous methods for diversity underperform in this
setting, while human evaluation suggests that our proposed method achieves a
high level of diversity with minimal effect to the output's fluency and
adequacy.
- Abstract（参考訳）: 言語生成タスクのディープラーニングモデルは、繰り返し出力を生成する傾向がある。
復号中に語彙の多様性を促進するために様々な方法が提案されているが、これはしばしば出力の流動性と適切性を認識するためにコストがかかる。
本稿では,言語生成モデルが確実に生成できる多様性のレベルを探るために,模倣学習手法を用いて,このコストを改善することを提案する。
具体的には、任意の時間ステップでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器で復号処理を補強する。
我々は,入力と出力の厳密な関係から,無関係な単語の包含に敏感なモデルを用いて,概念からテキストへの生成実験を行う。
分析の結果, 従来の多様性の手法は, ヒトによる評価から, 出力の流動性や妥当性に最小限の影響で高い多様性を達成できることが示唆された。
関連論文リスト
- Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。
CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。
本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-01T01:51:31Z) - Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。
この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
論文 参考訳（メタデータ） (2024-07-26T12:23:54Z) - Improving Diversity of Commonsense Generation by Large Language Models via In-Context Learning [28.654890118684957]
生成コモンセンス推論 (Generative Commonsense Reasoning, GCR) は、コモンセンス知識を用いて状況を理解するためのモデルを必要とする。
生成の多様性は、モデルが様々な常識的知識事実を使用する能力を反映しているため、同様に重要である。
そこで本研究では,LLMの世代を多様化し,その品質を保ちながら簡便な手法を提案する。
論文 参考訳（メタデータ） (2024-04-25T17:52:39Z) - Beyond Turing: A Comparative Analysis of Approaches for Detecting Machine-Generated Text [1.919654267936118]
従来の浅層学習,言語モデル(LM)微調整,多言語モデル微調整の評価を行った。
結果は、メソッド間でのパフォーマンスにかなりの違いが示される。
この研究は、堅牢で差別性の高いモデルを作成することを目的とした将来の研究の道を開くものである。
論文 参考訳（メタデータ） (2023-11-21T06:23:38Z) - Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。
本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。
この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
論文 参考訳（メタデータ） (2023-10-02T09:35:27Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳（メタデータ） (2022-12-21T02:41:40Z) - Exploring Diversity in Back Translation for Low-Resource Machine
Translation [85.03257601325183]
バックトランスフォーメーションは、ニューラルマシントランスフォーメーションシステムの性能を改善するために最も広く使われている手法の1つである。
近年の研究では、生成された翻訳の「多様性」を増大させることにより、この手法の有効性を高めることを目指している。
この研究は、トレーニングデータの多様性を理解し、それを語彙的多様性と構文的多様性に分割する、より微妙なフレームワークを推し進めている。
論文 参考訳（メタデータ） (2022-06-01T15:21:16Z) - A Contrastive Framework for Neural Text Generation [46.845997620234265]
モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。
モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
論文 参考訳（メタデータ） (2022-02-13T21:46:14Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Improving the Diversity of Unsupervised Paraphrasing with Embedding
Outputs [28.16894664889912]
ゼロショットパラフレーズ生成のための新しい手法を提案する。
主な貢献は、翻訳された並列コーパスを用いて訓練されたエンドツーエンドの多言語パラフレーズモデルである。
論文 参考訳（メタデータ） (2021-10-25T19:33:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。