論文の概要: Contrastive Search Is What You Need For Neural Text Generation

• arxiv url: http://arxiv.org/abs/2210.14140v1
• Date: Tue, 25 Oct 2022 16:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 14:50:15.514079
• Title: Contrastive Search Is What You Need For Neural Text Generation
• Title（参考訳）: ニューラルテキスト生成に必要なのはコントラスト検索
• Authors: Yixuan Su and Nigel Collier
• Abstract要約: 自己回帰型LMは本当に異方性なのか? 我々は16言語にわたるLMの等方性について広範囲に評価した。 実験の結果,コントラスト探索は従来の復号法よりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 32.93568602074552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating text with autoregressive language models (LMs) is of great importance to many natural language processing (NLP) applications. Previous solutions for this task often produce text that contains degenerative expressions or lacks semantic consistency. Recently, Su et al. introduced a new decoding method, contrastive search, based on the isotropic representation space of the language model and obtained new state of the art on various benchmarks. Additionally, Su et al. argued that the representations of autoregressive LMs (e.g. GPT-2) are intrinsically anisotropic which is also shared by previous study. Therefore, to ensure the language model follows an isotropic distribution, Su et al. proposed a contrastive learning scheme, SimCTG, which calibrates the language model's representations through additional training. In this study, we first answer the question: "Are autoregressive LMs really anisotropic?". To this end, we extensively evaluate the isotropy of LMs across 16 major languages. Surprisingly, we find that the anisotropic problem only exists in the two specific English GPT-2-small/medium models. On the other hand, all other evaluated LMs are naturally isotropic which is in contrast to the conclusion drawn by previous studies. Based on our findings, we further assess the contrastive search decoding method using off-the-shelf LMs on four generation tasks across 16 languages. Our experimental results demonstrate that contrastive search significantly outperforms previous decoding methods without any additional training. More notably, on 12 out of 16 evaluated languages, contrastive search performs comparably with human-level performances as judged by human evaluations.
• Abstract（参考訳）: 自動回帰言語モデル(LM)を用いたテキスト生成は、多くの自然言語処理(NLP)アプリケーションにおいて非常に重要である。 このタスクの以前のソリューションは、しばしば変性表現を含むテキストを生成するか、意味的一貫性を欠いている。 最近、Suらは言語モデルの等方的表現空間に基づく新しい復号法、コントラッシブ検索を導入し、様々なベンチマークでその技術の新たな状態を得た。 さらに、Suらは自己回帰的LM(例えば GPT-2)の表現は本質的に異方性であり、これは以前の研究でも共有されていると主張した。 したがって、言語モデルが等方性分布に従うことを保証するため、Suらは、追加のトレーニングを通じて言語モデルの表現を校正するコントラスト学習スキームSimCTGを提案した。 本研究では,まず「自己回帰型LMは本当に異方性なのか?」という問いに答える。 この目的のために,16言語にわたるLMの等方性評価を行った。 驚くべきことに、異方性問題は2つの英GPT-2-small/mediumモデルにのみ存在する。 一方、他の評価されたLMは全て自然等方性であり、これは以前の研究による結論とは対照的である。 本研究は,16言語にまたがる4世代タスクにおいて,既設のlmsを用いたコントラスト検索復号法をさらに評価する。 実験の結果, コントラスト検索は, 追加のトレーニングをすることなく, 従来の復号法を大きく上回ることがわかった。 さらに,16言語中12言語において,コントラスト検索は人間の評価によって判断されるように,人間レベルの性能と相容れない性能を示す。

関連論文リスト

• Negation Blindness in Large Language Models: Unveiling the NO Syndrome in Image Generation [63.064204206220936]
  基礎的な大規模言語モデル(LLM)は、私たちが技術を理解する方法を変えました。 詩の執筆からコーディング、エッセイ生成、パズルの解決まで、様々な課題に長けていることが示されている。 画像生成機能の導入により、より包括的で汎用的なAIツールとなった。 現在特定されている欠陥には、幻覚、偏見、有害なコンテンツを生成するために制限されたコマンドをバイパスすることが含まれる。
  論文  参考訳（メタデータ） (2024-08-27T14:40:16Z)
• Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis [2.2530496464901106]
  スペイン語の単言語モデルと多言語BERTモデルを用いて、文脈におけるスペイン語のあいまいな名詞の意味表現を評価する。 様々な BERT ベースの LM の文脈的意味表現は、人間の判断に多少の違いがあるが、ヒトのベンチマークには及ばない。
  論文  参考訳（メタデータ） (2024-06-20T18:58:11Z)
• SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
  我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。 SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
  論文  参考訳（メタデータ） (2023-10-27T06:48:48Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Contextual Distortion Reveals Constituency: Masked Language Models are Implicit Parsers [7.558415495951758]
  マスク付き言語モデル(LM)から解析木を抽出する新しい手法を提案する。 本手法は,言語摂動による文脈表現の歪みに基づいて,各スパンのスコアを算出する。 本手法は,マスク付きLMを用いた英語における従来の最先端手法を一貫して上回り,多言語環境での優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T13:10:48Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
  比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。 二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。 より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
  論文  参考訳（メタデータ） (2022-01-23T22:00:54Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity [11.564158965143418]
  本稿では,入力に含まれるn-gramの生成を阻害する単純なパラフレーズ生成アルゴリズムを提案する。 一つの多言語NMTモデルから多くの言語でパラフレーズ生成が可能となる。
  論文  参考訳（メタデータ） (2020-08-11T18:05:34Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。