論文の概要: Boosting coherence of language models

• arxiv url: http://arxiv.org/abs/2110.08294v1
• Date: Fri, 15 Oct 2021 18:05:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 03:03:15.237997
• Title: Boosting coherence of language models
• Title（参考訳）: 言語モデルの一貫性を高める
• Authors: Nikolay Malkin, Zhen Wang, Nebojsa Jojic
• Abstract要約: コヒーレンスブースティング(Coherence boosting)は、次世代の予測に対する遠方の文脈の影響を高める推論手法である。 生成した通常のテキストと対話応答の分布解析により,事前学習されたモデルとのコヒーレンス向上の利点を示す。 また、ゼロショットNLPタスクに対する最先端モデルとのコヒーレンス向上は、追加のトレーニングを伴わずに性能向上をもたらすことも見出した。
• 参考スコア（独自算出の注目度）: 19.20711036215174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Naturality of long-term information structure -- coherence -- remains a challenge in language generation. Large language models have insufficiently learned such structure, as their long-form generations differ from natural text in measures of coherence. To alleviate this divergence, we propose coherence boosting, an inference procedure that increases the effect of distant context on next-token prediction. We show the benefits of coherence boosting with pretrained models by distributional analyses of generated ordinary text and dialog responses. We also find that coherence boosting with state-of-the-art models for various zero-shot NLP tasks yields performance gains with no additional training.
• Abstract（参考訳）: 長期的な情報構造 - コヒーレンス - の自然性は、言語生成における課題である。 長文世代はコヒーレンス尺度で自然文と異なるため、大きな言語モデルはそのような構造を十分に学習していない。 この分散を緩和するため,次世代の予測に対する遠隔文脈の影響を増大させる推論手法であるコヒーレンスブースティングを提案する。 生成した通常のテキストと対話応答の分布解析により,事前学習モデルとのコヒーレンス向上の利点を示す。 また,ゼロショットnlpタスクに対する最先端モデルとのコヒーレンス強化は,追加のトレーニングを伴わずにパフォーマンスの向上をもたらすことがわかった。

関連論文リスト

• GASE: Generatively Augmented Sentence Encoding [0.0]
  本稿では,データ拡張のための生成テキストモデルを推論時に適用することにより,文の埋め込みを強化する手法を提案する。 Generatively Augmented Sentenceは、パラフレーズ、要約、あるいはキーワードの抽出によって生成される入力テキストの多様な合成変種を使用する。 生成的拡張により,ベースライン性能の低い埋め込みモデルの性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-11-07T17:53:47Z)
• Enhancing adversarial robustness in Natural Language Inference using explanations [41.46494686136601]
  自然言語推論(NLI)の未探索課題に注目点を当てた。 我々は、広範囲な実験を通じて、モデルに依存しない防衛戦略として、自然言語説明の使用を検証した。 本研究では,広範に使用されている言語生成指標と人間の知覚との相関について検討し,それらが堅牢なNLIモデルへのプロキシとして機能するようにした。
  論文  参考訳（メタデータ） (2024-09-11T17:09:49Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
  概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。 出力予測が大幅に変化する特徴を最適化する。 本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T14:48:27Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Improving Topic Segmentation by Injecting Discourse Dependencies [29.353285741379334]
  本論文では, 談話依存構造を注入した談話認識型ニューラルトピックセグメンテーションモデルを提案する。 英語評価データセットに関する実証研究により,ニューラルネットワークのトピックセグメンタに上述の談話構造を注入することで,その性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-09-18T18:22:25Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• High-order Semantic Role Labeling [86.29371274587146]
  本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。 これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。 CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
  論文  参考訳（メタデータ） (2020-10-09T15:33:54Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。