論文の概要: ECO Decoding: Entropy-Based Control for Controllability and Fluency in Controllable Dialogue Generation
- arxiv url: http://arxiv.org/abs/2511.01568v1
- Date: Mon, 03 Nov 2025 13:35:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:27.274116
- Title: ECO Decoding: Entropy-Based Control for Controllability and Fluency in Controllable Dialogue Generation
- Title(参考訳): ECO復号:制御可能対話生成における制御性と周波数のエントロピー制御
- Authors: Seungmin Shin, Dooyoung Kim, Youngjoong Ko,
- Abstract要約: モデルエントロピーに応じて各生成ステップの制御強度を動的に調整するECO復号法を提案する。
DailyDialogとMultiWOZデータセットの実験では、ECO復号化は、流用性と文法性を維持しながら、一貫して制御性を改善することが示されている。
- 参考スコア(独自算出の注目度): 20.658872192907705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Controllable Dialogue Generation (CDG) enables chatbots to generate responses with desired attributes, and weighted decoding methods have achieved significant success in the CDG task. However, using a fixed constant value to manage the bias of attribute probabilities makes it challenging to find an ideal control strength that satisfies both controllability and fluency. To address this issue, we propose ECO decoding (Entropy-based COntrol), which dynamically adjusts the control strength at each generation step according to the model's entropy in both the language model and attribute classifier probability distributions. Experiments on the DailyDialog and MultiWOZ datasets demonstrate that ECO decoding consistently improves controllability while maintaining fluency and grammaticality, outperforming prior decoding methods across various models and settings. Furthermore, ECO decoding alleviates probability interpolation issues in multi-attribute generation and consequently demonstrates strong performance in both single and multi-attribute scenarios.
- Abstract(参考訳): 制御可能な対話生成(CDG)により、チャットボットは所望の属性で応答を生成することができ、重み付き復号法はCDGタスクにおいて大きな成功を収めた。
しかし、定値を用いて属性確率のバイアスを管理することは、制御性と流速の両方を満たす理想的な制御強度を見つけることを困難にしている。
この問題に対処するため、言語モデルと属性分類器の確率分布の両方において、モデルエントロピーに応じて各生成ステップにおける制御強度を動的に調整するECOデコーディング(Entropy-based COntrol)を提案する。
DailyDialogとMultiWOZデータセットの実験では、ECO復号化は、流速と文法性を保ちながら、制御性を一貫して改善し、さまざまなモデルや設定で事前復号法より優れていることが示されている。
さらに、ECOデコーディングは、マルチ属性生成における確率補間問題を緩和し、シングル属性とマルチ属性の両方のシナリオで強い性能を示す。
関連論文リスト
- A high-capacity linguistic steganography based on entropy-driven rank-token mapping [81.29800498695899]
言語ステガノグラフィーは、秘密のメッセージを無害なテキストに埋め込むことによって、秘密のコミュニケーションを可能にする。
従来の修正ベースの手法は検出可能な異常を導入し、検索ベースの戦略は埋め込み能力の低下に悩まされている。
本稿では、ランクベース適応符号化と文脈認識の圧縮を正規化エントロピーと統合したRTMStegaというエントロピー駆動のフレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-27T06:02:47Z) - Scaling Code-Assisted Chain-of-Thoughts and Instructions for Model Reasoning [65.20602712957725]
Cacoは、高品質で検証可能な多様な命令-CoT推論データの合成を自動化する新しいフレームワークである。
我々の研究は、人間の介入なしに自己持続的で信頼できる推論システムを構築するためのパラダイムを確立します。
論文 参考訳(メタデータ) (2025-10-05T07:59:24Z) - SCALAR: Scale-wise Controllable Visual Autoregressive Learning [15.775596699630633]
視覚自己回帰(VAR)に基づく制御可能な生成法であるSCALARを提案する。
予め訓練された画像エンコーダを用いて意味制御信号の符号化を抽出し,VARバックボーンの対応する層に注入する。
SCALAR上に構築したSCALAR-Uniは,複数の制御モダリティを共有潜在空間に整合させる統合拡張であり,単一のモデルで柔軟なマルチ条件ガイダンスをサポートする。
論文 参考訳(メタデータ) (2025-07-26T13:23:08Z) - ControlVAR: Exploring Controllable Visual Autoregressive Modeling [48.66209303617063]
拡散モデル(DM)の出現により、条件付き視覚発生は顕著に進展した。
高価な計算コスト、高い推論遅延、大規模言語モデル(LLM)との統合の難しさといった課題は、DMに代わる方法を模索する必要がある。
本稿では,フレキシブルかつ効率的な条件生成のための視覚自己回帰モデリングにおける画素レベル制御を探求する新しいフレームワークであるControlmoreを紹介する。
論文 参考訳(メタデータ) (2024-06-14T06:35:33Z) - Quantized Embedding Vectors for Controllable Diffusion Language Models [1.3287140837287783]
Quantized Embedding Controllable Diffusion Language Modelは、言語モデルの制御性、移植性、推論速度を改善する。
QE-CDLMは、最近成功した制御可能なDLMの上に構築され、量子化によってタスク固有の埋め込み空間をモデル化する。
論文 参考訳(メタデータ) (2024-02-15T17:02:48Z) - Controllable Text Generation with Residual Memory Transformer [4.9329649616940205]
任意の時間ステップでCLMを生成するための,非侵襲的で軽量な制御プラグインを提案する。
提案されているプラグイン、すなわちResidual Memory Transformer (RMT)は、任意の種類の制御条件を受け入れることができるエンコーダとデコーダのセットアップを備えている。
各種制御タスクにおいて, 自動評価と人的評価の両面で, 広範囲な実験が実施されている。
論文 参考訳(メタデータ) (2023-09-28T08:13:33Z) - Semantic Space Grounded Weighted Decoding for Multi-Attribute
Controllable Dialogue Generation [41.23970507903113]
本稿では,重み付き復号法で強い制御性を持つDASCという新しいフレームワークを提案する。
複数属性の生成は、複数の属性の埋め込みの発話で直感的に実装される。
実験の結果,DASCは3つの側面を同時に制御することで,生成タスクにおいて高い制御精度を達成できることがわかった。
論文 参考訳(メタデータ) (2023-05-04T13:35:27Z) - Is Disentanglement enough? On Latent Representations for Controllable
Music Generation [78.8942067357231]
強い生成デコーダが存在しない場合、アンタングル化は必ずしも制御性を意味するものではない。
VAEデコーダに対する潜伏空間の構造は、異なる属性を操作するための生成モデルの能力を高める上で重要な役割を果たす。
論文 参考訳(メタデータ) (2021-08-01T18:37:43Z) - Control, Generate, Augment: A Scalable Framework for Multi-Attribute
Text Generation [22.70189685469752]
我々は条件付きVAEアーキテクチャであるCGAを導入し、テキストを制御、生成、拡張する。
アブレーション研究において,個々のモデル成分の値を示す。
生成した文の質,多様性,属性の制御を,一連の自動評価および人的評価を通じて示す。
論文 参考訳(メタデータ) (2020-04-30T17:31:16Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。