論文の概要: Locate&Edit: Energy-based Text Editing for Efficient, Flexible, and Faithful Controlled Text Generation
- arxiv url: http://arxiv.org/abs/2407.00740v1
- Date: Sun, 30 Jun 2024 16:04:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 01:47:18.205843
- Title: Locate&Edit: Energy-based Text Editing for Efficient, Flexible, and Faithful Controlled Text Generation
- Title（参考訳）: Locate&Edit:効率的なフレキシブルかつ忠実なテキスト生成のためのエネルギーベースのテキスト編集
- Authors: Hye Ryung Son, Jay-Yoon Lee,
- Abstract要約: そこで本研究では, 既製のエネルギーモデルを用いて, 基本LMからのテキスト出力を編集するCTGに対して, 効率的かつ柔軟なエネルギーベースアプローチを提案する。
実験により,L&E は基本LM 世代と速度のセマンティック保存に優れ,同時に競争力や制約満足度の向上を実現していることを確認した。
- 参考スコア（独自算出の注目度）: 5.10832476049103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent approaches to controlled text generation (CTG) often involve manipulating the weights or logits of base language models (LMs) at decoding time. However, these methods are inapplicable to latest black-box LMs and ineffective at preserving the core semantics of the base LM's original generations. In this work, we propose Locate&Edit(L&E), an efficient and flexible energy-based approach to CTG, which edits text outputs from a base LM using off-the-shelf energy models. Given text outputs from the base LM, L&E first locates spans that are most relevant to constraints (e.g., toxicity) utilizing energy models, and then edits these spans by replacing them with more suitable alternatives. Importantly, our method is compatible with black-box LMs, as it requires only the text outputs. Also, since L&E doesn't mandate specific architecture for its component models, it can work with a diverse combination of available off-the-shelf models. Moreover, L&E preserves the base LM's original generations, by selectively modifying constraint-related aspects of the texts and leaving others unchanged. These targeted edits also ensure that L&E operates efficiently. Our experiments confirm that L&E achieves superior semantic preservation of the base LM generations and speed, while simultaneously obtaining competitive or improved constraint satisfaction. Furthermore, we analyze how the granularity of energy distribution impacts CTG performance and find that fine-grained, regression-based energy models improve constraint satisfaction, compared to conventional binary classifier energy models.
- Abstract（参考訳）: 制御されたテキスト生成(CTG)に対する最近のアプローチは、復号時にベース言語モデル(LM)の重みやロジットを操作することを伴うことが多い。
しかし、これらの手法は最新のブラックボックス LM には適用不可能であり、ベース LM のオリジナル世代におけるコアセマンティクスの保存には有効ではない。
本研究では,CTG に対する効率よく柔軟なエネルギーベースアプローチである Locate&Edit(L&E) を提案する。
基本LMからのテキスト出力が与えられたとき、L&Eはまずエネルギーモデルを利用する制約(例えば毒性)に最も関係のあるスパンを見つけ、それからより適切な代替品に置き換えてこれらのスパンを編集する。
重要な点として,本手法はテキスト出力のみを必要とするため,ブラックボックスのLMと互換性がある。
また、L&Eはコンポーネントモデルの特定のアーキテクチャを規定していないため、利用可能なオフザシェルフモデルの多種多様な組み合わせで動作することができます。
さらに、L&Eは、テキストの制約関連の側面を選択的に修正し、他の要素をそのままにして、LMのオリジナル世代を保存する。
これらの編集対象はL&Eが効率的に動作することを保証する。
実験により,L&E は基本LM 世代と速度のセマンティック保存に優れ,同時に競争力や制約満足度の向上を実現していることを確認した。
さらに, エネルギー分布の粒度がCTG性能に与える影響を解析し, 従来の二項分類器エネルギーモデルと比較して, 詳細な回帰ベースエネルギーモデルにより制約満足度が向上することを示した。
関連論文リスト
- Enhance Lifelong Model Editing with Continuous Data-Adapter Association [55.697627106315004]
大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。
現在のアプローチでは、元のパラメータを凍結し、知識修正毎に新しいアダプタを割り当てることで、シーケンシャルな編集を管理している。
ELDER, textbfEnhancing textbfLifelong motextbfDel textbfEditing with mixtutextbfRe of Low-Rank Adapter (LoRA)を提案する。
論文 参考訳（メタデータ） (2024-08-19T02:27:00Z) - MetaGreen: Meta-Learning Inspired Transformer Selection for Green Semantic Communication [0.3850666668546735]
エネルギ・ド・セマンティック・ロスの関数はセマンティック情報損失とエネルギー消費のバランスをとる。
EOSLを用いた変圧器モデル選択はBLEUのスコアベース選択と比較して83%高い類似度/パワー比(SPR)を示す。
メタラーニングの原則に触発されて,EOSLの適用性は,多様かつ多様なコンテキストにまで拡張する。
論文 参考訳（メタデータ） (2024-06-22T00:49:40Z) - DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。
我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。
DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
論文 参考訳（メタデータ） (2024-06-07T19:38:05Z) - Controlled Text Generation via Language Model Arithmetic [7.687678490751105]
本稿では,大規模言語モデルの合成とバイアス化のための新しい推論フレームワークであるモデル演算を導入する。
モデル算術により生成したテキストのきめ細かい制御が可能であり, 毒性低減の課題において, 最先端の処理性能に優れることを示す。
論文 参考訳（メタデータ） (2023-11-24T13:41:12Z) - Tractable Control for Autoregressive Language Generation [82.79160918147852]
本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。
本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。
我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
論文 参考訳（メタデータ） (2023-04-15T00:19:44Z) - Energy-guided Entropic Neural Optimal Transport [100.20553612296024]
エネルギーベースのモデル(EBM)は、機械学習コミュニティで数十年にわたって知られている。
EBMとEntropy-regularized OTのギャップを埋める。
実際に,玩具2Dおよび画像領域における適用性を検証する。
論文 参考訳（メタデータ） (2023-04-12T18:20:58Z) - Mix and Match: Learning-free Controllable Text Generation using Energy
Language Models [33.97800741890231]
制御可能なテキスト生成のためのグローバルスコアベースの代替手段であるMix and Match LMを提案する。
我々は制御可能な生成のタスクをエネルギーベースモデルからのサンプルの描画として解釈する。
我々は、このエネルギーベースモデルからサンプリングするためにメトロポリス・ハスティングスサンプリングスキームを使用する。
論文 参考訳（メタデータ） (2022-03-24T18:52:09Z) - COLD Decoding: Energy-based Constrained Text Generation with Langevin
Dynamics [69.8062252611486]
コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。
制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
論文 参考訳（メタデータ） (2022-02-23T18:59:27Z) - Joint Energy-based Model Training for Better Calibrated Natural Language
Understanding Models [61.768082640087]
自然言語理解タスクのための事前学習テキストエンコーダの微調整中に、共同エネルギーベースモデル(EBM)トレーニングを検討します。
実験では、EMMトレーニングはモデルが強力なベースラインに匹敵するより良いキャリブレーションに達するのに役立つことが示されています。
論文 参考訳（メタデータ） (2021-01-18T01:41:31Z) - Normalization of Input-output Shared Embeddings in Text Generation
Models [5.9704719476473915]
埋め込み重み行列の正規化法は、最先端ニューラルネットワークモデル上で最高の性能を示す。
Transformer-Bigモデルの場合、正規化技術はWMT'16 En-Deデータセットのオリジナルのモデルと比較すると、最大で0.6 BLEUの改善が得られる。
DynamicConvモデルでは、WMT'16 En-Deデータセットで0.5BLEUの改善が達成され、IWSLT 14' De-En翻訳タスクで0.41BLEUの改善が達成される。
論文 参考訳（メタデータ） (2020-01-22T05:34:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。