論文の概要: SMCLM: Semantically Meaningful Causal Language Modeling for Autoregressive Paraphrase Generation

• arxiv url: http://arxiv.org/abs/2507.03415v1
• Date: Fri, 04 Jul 2025 09:23:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.725628
• Title: SMCLM: Semantically Meaningful Causal Language Modeling for Autoregressive Paraphrase Generation
• Title（参考訳）: SMCLM: 自己回帰的パラフレーズ生成のための意味のある因果言語モデリング
• Authors: Michał Perełkiewicz, Sławomir Dadas, Rafał Poświata,
• Abstract要約: 本稿では,意味意味的因果言語モデリング(SMCLM)を紹介する。 SMCLMは、意味論的に等価なテキストを生成するための自己回帰モデルの訓練方法である。 提案手法は教師なし手法と競合し,教師なし手法で最先端の手法を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This article introduces semantically meaningful causal language modeling (SMCLM), a selfsupervised method of training autoregressive models to generate semantically equivalent text. Our approach involves using semantically meaningful text representation as an initial embedding in the autoregressive training and generation processes. The extensive empirical study demonstrates that the SMCLM approach makes autoregressive models capable of learning robust and high-quality paraphrase generation. The proposed method is competitive with the supervised method and achieves state-of-the-art results in unsupervised approaches. This article also presents a comprehensive set of automatic metrics that cover a wide range of autogenerated paraphrase evaluation aspects. Simultaneously, this article highlights the low reliability of the metrics that are widely used in paraphrase generation evaluation, including BLEU, ROUGE, and BERTScore.
• Abstract（参考訳）: 本稿では,意味的に意味のある因果的言語モデリング(SMCLM)を紹介する。 本手法では,自動回帰学習および生成プロセスの初期埋め込みとして意味的意味のあるテキスト表現を用いる。 広範な実証研究により、SMCLMアプローチは、堅牢で高品質なパラフレーズ生成を学習できる自己回帰モデルを作ることを示した。 提案手法は教師なし手法と競合し,教師なし手法で最先端の手法を実現する。 この記事では、多岐にわたる自動生成パラフレーズ評価の側面をカバーする、総合的な自動メトリクスのセットについても紹介する。 同時に、BLEU、ROUGE、BERTScoreなどのパラフレーズ生成評価で広く使われているメトリクスの信頼性の低さを強調します。

関連論文リスト

• Refining Sentence Embedding Model through Ranking Sentences Generation with Large Language Models [60.00178316095646]
  多くのNLPタスクには文の埋め込みが不可欠であり、NLIのようなデータセットを使用して強いパフォーマンスを達成する対照的な学習方法がある。 近年の研究では、大きな言語モデル(LLM)を利用して文ペアを生成し、アノテーション依存を減らしている。 本稿では,潜在空間におけるLLMの生成方向を制御する手法を提案する。 複数のベンチマークによる実験により,本手法は文合成に要するコストを最小限に抑えつつ,新たなSOTA性能を実現することを示した。
  論文  参考訳（メタデータ） (2025-02-19T12:07:53Z)
• Combining Autoregressive and Autoencoder Language Models for Text Classification [1.0878040851638]
  CAALM-TCは、自動回帰言語モデルと自動エンコーダ言語モデルを統合することで、テキスト分類を強化する新しい手法である。 4つのベンチマークデータセットの実験結果は、CAALMが既存の手法より一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-20T12:49:42Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Counterfactuals As a Means for Evaluating Faithfulness of Attribution Methods in Autoregressive Language Models [6.394084132117747]
  本稿では,自己回帰型言語モデルに対する帰属手法の忠実度を評価するために,反事実生成を利用する手法を提案する。 提案手法は, 流動性, 分散性, 分散性, 分散性, 評価プロトコルの信頼性を向上する。
  論文  参考訳（メタデータ） (2024-08-21T00:17:59Z)
• Open-Domain Text Evaluation via Contrastive Distribution Methods [75.59039812868681]
  本稿では,Contrastive Distribution Methodsと呼ばれるオープンドメインテキスト生成手法を提案する。 マルチターン対話におけるコヒーレンス評価と制御可能な生成におけるコヒーレンス評価の実験により,CDMの優位性は人間の判断と相関していることが示された。
  論文  参考訳（メタデータ） (2023-06-20T20:37:54Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• Investigating Methods to Improve Language Model Integration for Attention-based Encoder-Decoder ASR Models [107.86965028729517]
  注意ベースのエンコーダデコーダ(AED)モデルは、トレーニング転写から暗黙的な内部言語モデル(ILM)を学ぶ。 AEDモデルから直接ILMを推定する新しい手法をいくつか提案する。
  論文  参考訳（メタデータ） (2021-04-12T15:16:03Z)
• Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
  逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。 本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
  論文  参考訳（メタデータ） (2020-09-16T06:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。