論文の概要: Palette of Language Models: A Solver for Controlled Text Generation

• arxiv url: http://arxiv.org/abs/2503.11182v1
• Date: Fri, 14 Mar 2025 08:30:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:07:57.125624
• Title: Palette of Language Models: A Solver for Controlled Text Generation
• Title（参考訳）: 言語モデルのパレット:制御されたテキスト生成のための解法
• Authors: Zhe Yang, Yi Huang, Yaqin Chen, Xiaoting Wu, Junlan Feng, Chao Deng,
• Abstract要約: 大規模な言語モデルは、適切に指示されたときに特定の要求に忠実に準拠する制御されたテキストを生成することができる。 一般的なアプローチは、単一属性モデルを線形に組み合わせることであるが、この戦略は、しばしば属性の重複を見落とし、矛盾につながる可能性がある。 本稿では,生成言語モデルに基づく総確率法と条件付き相互情報最小化に着想を得た新しい組み合わせ戦略を提案する。
• 参考スコア（独自算出の注目度）: 20.774257685046994
• License:
• Abstract: Recent advancements in large language models have revolutionized text generation with their remarkable capabilities. These models can produce controlled texts that closely adhere to specific requirements when prompted appropriately. However, designing an optimal prompt to control multiple attributes simultaneously can be challenging. A common approach is to linearly combine single-attribute models, but this strategy often overlooks attribute overlaps and can lead to conflicts. Therefore, we propose a novel combination strategy inspired by the Law of Total Probability and Conditional Mutual Information Minimization on generative language models. This method has been adapted for single-attribute control scenario and is termed the Palette of Language Models due to its theoretical linkage between attribute strength and generation style, akin to blending colors on an artist's palette. Moreover, positive correlation and attribute enhancement are advanced as theoretical properties to guide a rational combination strategy design. We conduct experiments on both single control and multiple control settings, and achieve surpassing results.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は、その顕著な能力でテキスト生成に革命をもたらした。 これらのモデルは、適切にプロンプトされたときに特定の要求に忠実に準拠する制御されたテキストを生成することができる。 しかし、複数の属性を同時に制御する最適なプロンプトを設計することは困難である。 一般的なアプローチは、単一属性モデルを線形に組み合わせることであるが、この戦略は、しばしば属性の重複を見落とし、矛盾につながる可能性がある。 そこで本研究では,生成言語モデルに基づく全確率法と条件付き相互情報最小化に着想を得た新しい組み合わせ戦略を提案する。 この手法は単一属性制御のシナリオに適応しており、属性強度と生成スタイルの理論的結びつきからPalette of Language Modelsと呼ばれている。 さらに、有理結合戦略設計を導くための理論的特性として、正の相関と属性の強化が進められている。 単一制御と複数制御設定の両方で実験を行い、その結果を上回ります。

関連論文リスト

• Towards Lightweight, Adaptive and Attribute-Aware Multi-Aspect Controllable Text Generation with Large Language Models [40.54453001537357]
  マルチアスペクト制御可能なテキスト生成は、属性のテキスト生成を複数の側面から制御することを目的としている。 改良された微調整手法は、単純さと有効性のためにしばしばこの課題に使用される。 マルチアスペクト制御可能なテキスト生成のための軽量で適応的で属性対応のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-19T06:56:02Z)
• Multi-Attribute Constraint Satisfaction via Language Model Rewriting [67.5778646504987]
  マルチ属性制約満足度(英: Multi-Attribute Constraint Satisfaction, MACS)は、言語モデルを微調整して、複数の外部実値属性に対するユーザ指定制約を満たす手法である。 我々の研究は、NLPやバイオインフォマティクスにまたがる多様な応用に影響を及ぼす、一般化および実値多属性制御のための新しい道を開く。
  論文  参考訳（メタデータ） (2024-12-26T12:36:39Z)
• Toward Unified Controllable Text Generation via Regular Expression Instruction [56.68753672187368]
  本稿では,正規表現の利点をフル活用し,多様な制約を一様にモデル化する命令ベース機構を用いた正規表現指導(REI)を提案する。 提案手法では,中規模言語モデルの微調整や,大規模言語モデルでの少数ショット・インコンテクスト学習のみを要し,各種制約の組み合わせに適用した場合のさらなる調整は不要である。
  論文  参考訳（メタデータ） (2023-09-19T09:05:14Z)
• Click: Controllable Text Generation with Sequence Likelihood Contrastive Learning [69.35360098882606]
  制御可能なテキスト生成のためのClickを導入し、モデルアーキテクチャを変更する必要はない。 シークエンス確率は対照的な損失を伴い、負のサンプルの生成確率を根本的に低下させる。 また、モデル世代から対照的なサンプルを構築するための、新しいランキングベースの戦略も採用している。
  論文  参考訳（メタデータ） (2023-06-06T01:56:44Z)
• Language Model Cascades [72.18809575261498]
  テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。 制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。 この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
  論文  参考訳（メタデータ） (2022-07-21T07:35:18Z)
• Mix and Match: Learning-free Controllable Text Generation using Energy Language Models [33.97800741890231]
  制御可能なテキスト生成のためのグローバルスコアベースの代替手段であるMix and Match LMを提案する。 我々は制御可能な生成のタスクをエネルギーベースモデルからのサンプルの描画として解釈する。 我々は、このエネルギーベースモデルからサンプリングするためにメトロポリス・ハスティングスサンプリングスキームを使用する。
  論文  参考訳（メタデータ） (2022-03-24T18:52:09Z)
• Controllable Natural Language Generation with Contrastive Prefixes [120.12778570283956]
  GPT2生成は、自然言語生成を操るために、プレフィックスと呼ばれる小さな属性固有のベクトルのセットを利用する。 単一アスペクト制御のための接頭辞を訓練するための新しい教師なし手法と教師なし手法を提案する。 単一アスペクト制御と多アスペクト制御の両方の実験結果から,提案手法は高い言語的品質を維持しつつ,所望の属性に向かって生成を導くことができることがわかった。
  論文  参考訳（メタデータ） (2022-02-27T00:31:03Z)
• Controllable Dialogue Generation with Disentangled Multi-grained Style Specification and Attribute Consistency Reward [47.96949534259019]
  マルチ属性制約下で応答生成を行うための制御可能な対話生成モデルを提案する。 一般的に使用される制御属性を,応答生成に対する影響の粒度が異なる大域的および局所的な属性に分類する。 我々のモデルは、応答品質、コンテンツ多様性、制御性の観点から、競争ベースラインを大幅に上回ることができる。
  論文  参考訳（メタデータ） (2021-09-14T14:29:38Z)
• Attribute Alignment: Controlling Text Generation from Pre-trained Language Models [46.19190007510232]
  本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。 属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
  論文  参考訳（メタデータ） (2021-03-20T01:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。