論文の概要: Context-Enhanced Contrastive Search for Improved LLM Text Generation
- arxiv url: http://arxiv.org/abs/2504.21020v1
- Date: Tue, 22 Apr 2025 13:00:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-10 02:21:34.916821
- Title: Context-Enhanced Contrastive Search for Improved LLM Text Generation
- Title（参考訳）: 文脈拡張型LLMテキスト生成のためのコントラスト探索
- Authors: Jaydip Sen, Rohit Pandey, Hetvi Waghela,
- Abstract要約: 本稿では,コントラスト探索アルゴリズムであるCECS(Context-Enhanced Contrastive Search)のコンテキストキャリブレーションによる改良を提案する。
提案手法は, 動的文脈重み付け, 多レベルコントラスト探索, 適応温度制御などの新しい手法を導入し, 流速, 創造性, 精度のバランスを最適化する。
実験の結果,CECSによるテキストの一貫性と関連性は,既存のContrastive Search技術よりも優れていた。
- 参考スコア（独自算出の注目度）: 1.7720658326850143
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Large Language Models (LLMs) have demonstrated remarkable advancements in Natural Language Processing (NLP). However, generating high-quality text that balances coherence, diversity, and relevance remains challenging. Traditional decoding methods, such as bean search and top-k sampling, often struggle with either repetitive or incoherent outputs, particularly in tasks that require long-form text generation. To address these limitations, the paper proposes a novel enhancement of the well-known Contrastive Search algorithm, Context-Enhanced Contrastive Search (CECS) with contextual calibration. The proposed scheme introduces several novelties including dynamic contextual importance weighting, multi-level Contrastive Search, and adaptive temperature control, to optimize the balance between fluency, creativity, and precision. The performance of CECS is evaluated using several standard metrics such as BLEU, ROUGE, and semantic similarity. Experimental results demonstrate significant improvements in both coherence and relevance of the generated texts by CECS outperforming the existing Contrastive Search techniques. The proposed algorithm has several potential applications in the real world including legal document drafting, customer service chatbots, and content marketing.
- Abstract（参考訳）: 近年,Large Language Models (LLMs) は自然言語処理(NLP)において顕著な進歩を見せている。
しかし、一貫性、多様性、関連性のバランスをとる高品質なテキストを生成することは依然として困難である。
ビーン検索やトップクサンプリングのような伝統的な復号法は、特に長文生成を必要とするタスクにおいて、繰り返しまたは一貫性のない出力に苦しむことが多い。
これらの制約に対処するため,コントラスト探索アルゴリズムであるCECS(Context-Enhanced Contrastive Search)をコンテキストキャリブレーションで拡張する手法を提案する。
提案手法は, 動的文脈重み付け, 多レベルコントラスト探索, 適応温度制御などの新しい手法を導入し, 流速, 創造性, 精度のバランスを最適化する。
CECSの性能はBLEU, ROUGE, 意味的類似性などの標準的な指標を用いて評価される。
実験の結果,CECSによるテキストの一貫性と関連性は,既存のContrastive Search技術よりも優れていた。
提案アルゴリズムは, 法的文書作成, カスタマーサービスチャットボット, コンテンツマーケティングなど, 現実の潜在的な応用がいくつかある。
関連論文リスト
- Optimizing Multi-Stage Language Models for Effective Text Retrieval [0.0]
本稿では,日本語の法的データセットに最適化された2相テキスト検索パイプラインを提案する。
提案手法は,高度な言語モデルを用いて最先端の性能を実現する。
堅牢性と適応性をさらに向上するため,複数の検索戦略を統合するアンサンブルモデルを組み込んだ。
論文 参考訳（メタデータ） (2024-12-26T16:05:19Z) - Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。
この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
論文 参考訳（メタデータ） (2024-07-26T12:23:54Z) - Fidelity-Enriched Contrastive Search: Reconciling the
Faithfulness-Diversity Trade-Off in Text Generation [21.096737598952853]
FECS (Fidelity-Enriched Contrastive Search) と呼ばれる新しい復号法を提案する。
FECSは、生成されたテキストの繰り返し性をペナルティ化しながら、提供されたソースと意味的に類似したトークンを促進する。
その結果,FECSは高い性能の復号アルゴリズムに匹敵する出力の多様性を維持しつつ,様々な言語モデルサイズにおける忠実さを一貫して向上させることがわかった。
論文 参考訳（メタデータ） (2023-10-23T14:27:45Z) - Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。
本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。
この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
論文 参考訳（メタデータ） (2023-10-02T09:35:27Z) - ESTextSpotter: Towards Better Scene Text Spotting with Explicit Synergy
in Transformer [88.61312640540902]
明示的な構文に基づくテキストスポッティング変換フレームワーク(ESTextSpotter)を紹介する。
本モデルは,1つのデコーダ内におけるテキスト検出と認識のための識別的,インタラクティブな特徴をモデル化することにより,明示的な相乗効果を実現する。
実験結果から,本モデルが従来の最先端手法よりも有意に優れていたことが示唆された。
論文 参考訳（メタデータ） (2023-08-20T03:22:23Z) - Composable Text Controls in Latent Space with ODEs [97.12426987887021]
本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。
事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。
実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
論文 参考訳（メタデータ） (2022-08-01T06:51:45Z) - Faithfulness in Natural Language Generation: A Systematic Survey of
Analysis, Evaluation and Optimization Methods [48.47413103662829]
自然言語生成(NLG)は,事前学習型言語モデルなどの深層学習技術の発展により,近年大きく進歩している。
しかし、生成したテキストが通常不信または非実情報を含むという忠実性問題は、最大の課題となっている。
論文 参考訳（メタデータ） (2022-03-10T08:28:32Z) - Obtaining Better Static Word Embeddings Using Contextual Embedding
Models [53.86080627007695]
提案手法はCBOWをベースとした簡易な蒸留法である。
副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
論文 参考訳（メタデータ） (2021-06-08T12:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。