論文の概要: Avoidance Decoding for Diverse Multi-Branch Story Generation

• arxiv url: http://arxiv.org/abs/2509.02170v2
• Date: Wed, 03 Sep 2025 10:39:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.995059
• Title: Avoidance Decoding for Diverse Multi-Branch Story Generation
• Title（参考訳）: 横型マルチブランチストーリー生成のための回避デコーディング
• Authors: Kyeongman Park, Nakyeong Yang, Kyomin Jung,
• Abstract要約: 大規模言語モデル (LLM) はしばしば反復的かつ単調な出力を生成する。 本稿では,以前に生成した出力と類似性をペナルティ化することでトークンロジットを修飾する新しい復号化戦略,Avoidance Decodingを提案する。 提案手法は出力の多様性を最大2.6倍に向上し,強いベースラインに比べて平均30%の繰り返しを減少させる。
• 参考スコア（独自算出の注目度）: 21.334696054545788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) often generate repetitive and monotonous outputs, especially in tasks like story generation, due to limited creative diversity when given the same input prompt. To address this challenge, we propose a novel decoding strategy, Avoidance Decoding, that modifies token logits by penalizing similarity to previously generated outputs, thereby encouraging more diverse multi-branch stories. This penalty adaptively balances two similarity measures: (1) Concept-level Similarity Penalty, which is prioritized in early stages to diversify initial story concepts, and (2) Narrative-level Similarity Penalty, which is increasingly emphasized later to ensure natural yet diverse plot development. Notably, our method achieves up to 2.6 times higher output diversity and reduces repetition by an average of 30% compared to strong baselines, while effectively mitigating text degeneration. Furthermore, we reveal that our method activates a broader range of neurons, demonstrating that it leverages the model's intrinsic creativity.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特にストーリー生成のようなタスクにおいて、同じ入力プロンプトを与えられたときの創造的な多様性が制限されるため、繰り返し、単調なアウトプットを生成することが多い。 この課題に対処するために,従来の出力と類似性をペナルティ化することでトークンロジットを修飾し,より多様なマルチブランチストーリーを促進する新しいデコーディング戦略,Avoidance Decodingを提案する。 この刑罰は,(1)初期の物語概念を多様化するために優先される概念レベルの類似性刑罰,(2)物語レベルの類似性刑罰の2つの類似性措置を適応的にバランスさせる。 特に,本手法は出力の多様性を最大2.6倍に向上し,テキストの劣化を効果的に軽減しつつ,高いベースラインに対して平均30%の繰り返しを減少させる。 さらに,本手法はより広い範囲のニューロンを活性化し,本モデルの本質的な創造性を活用することを示す。

関連論文リスト

• DiffSampling: Enhancing Diversity and Accuracy in Neural Text Generation [2.4555276449137042]
  トークン確率分布の数学的解析を利用する新しい復号法であるDiffSamplingを提案する。 4つの異なるテキスト生成タスクを含む実験により、我々のアプローチは、少なくとも既存の方法と同等に、一貫して機能することを示した。
  論文  参考訳（メタデータ） (2025-02-19T19:00:02Z)
• Generative Multi-modal Models are Good Class-Incremental Learners [51.5648732517187]
  クラス増分学習のための新しい生成型マルチモーダルモデル(GMM)フレームワークを提案する。 提案手法は適応生成モデルを用いて画像のラベルを直接生成する。 Few-shot CIL設定では、現在の最先端のすべてのメソッドに対して少なくとも14%精度が向上し、忘れてはならない。
  論文  参考訳（メタデータ） (2024-03-27T09:21:07Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• Evade the Trap of Mediocrity: Promoting Diversity and Novelty in Text Generation via Concentrating Attention [85.5379146125199]
  強力なトランスフォーマーアーキテクチャは高品質な文を生成するのに優れていることが証明されている。 本研究では,Transformerにおけるスペーサーの注意値が多様性を向上させることを発見した。 注意分布のシャープさを制御するために,新しい注意正規化損失を導入する。
  論文  参考訳（メタデータ） (2022-11-14T07:53:16Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Towards Efficiently Diversifying Dialogue Generation via Embedding Augmentation [24.940159321142165]
  本稿では,ソフト埋め込みによるニューラル対話モデルの生成の多様性を促進することを提案する。 新しい埋め込みは、元の埋め込みを置き換えるモデルの入力として機能する。 2つのデータセットの実験結果から,提案手法が生モデルよりも多様な応答を生成できることが示された。
  論文  参考訳（メタデータ） (2021-03-02T07:28:56Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。