論文の概要: Evaluating the Smooth Control of Attribute Intensity in Text Generation with LLMs

• arxiv url: http://arxiv.org/abs/2406.04460v1
• Date: Thu, 6 Jun 2024 19:35:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 18:17:07.895355
• Title: Evaluating the Smooth Control of Attribute Intensity in Text Generation with LLMs
• Title（参考訳）: LLMを用いたテキスト生成における属性強度の平滑化制御の評価
• Authors: Shang Zhou, Feng Yao, Chengyu Dong, Zihan Wang, Jingbo Shang,
• Abstract要約: 大規模言語モデル(LLM)はテキスト生成に革命をもたらした。 生成したテキストの属性強度の範囲,キャリブレーション,一貫性を評価する指標を提案する。
• 参考スコア（独自算出の注目度）: 36.89780636600556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Controlling the attribute intensity of text generation is crucial across scenarios (e.g., writing conciseness, chatting emotion, and explanation clarity). The remarkable capabilities of large language models (LLMs) have revolutionized text generation, prompting us to explore such \emph{smooth control} of LLM generation. Specifically, we propose metrics to assess the range, calibration, and consistency of the generated text's attribute intensity in response to varying control values, as well as its relevance to the intended context. To quantify the attribute intensity and context relevance, we propose an effective evaluation framework leveraging the Elo rating system and GPT4, both renowned for their robust alignment with human judgment. We look into two viable training-free methods for achieving smooth control of LLMs: (1) Prompting with semantic shifters, and (2) Modifying internal model representations. The evaluations of these two methods are conducted on $5$ different attributes with various models. Our code and dataset can be obtained from \url{https://github.com/ShangDataLab/Smooth-Control}.
• Abstract（参考訳）: テキスト生成の属性強度の制御は、シナリオ(例えば、簡潔さ、チャット感情、説明明快さ)で重要である。 大規模言語モデル(LLM)の顕著な能力は、テキスト生成に革命をもたらし、LCM生成のそのような 'emph{smooth control} を探索するきっかけとなった。 具体的には、異なる制御値に応じて生成されたテキストの属性強度の範囲、キャリブレーション、一貫性、および、意図したコンテキストとの関連性を評価する指標を提案する。 属性強度と文脈関連性を定量化するために,Elo 評価システムと GPT4 を利用した効果的な評価手法を提案する。 本研究では,LLMのスムーズな制御を実現するためのトレーニング不要な2つの手法について考察する。 これらの2つの手法の評価は、様々なモデルで5ドルの異なる属性を用いて行われる。 コードとデータセットは \url{https://github.com/ShangDataLab/Smooth-Control} から取得できます。

関連論文リスト

• Controlled Text Generation for Large Language Model with Dynamic Attribute Graphs [17.83438240818392]
  制御されたテキスト生成(CTG)は、特定の望ましい属性を示すテキストを作成することを目的としている。 本研究では,動的属性グラフに基づく制御テキスト生成という,大規模言語モデルのためのプラグイン可能なCTGフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-17T08:14:37Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Harnessing the Plug-and-Play Controller by Prompting [12.705251690623495]
  本稿では,事前学習言語モデル(PLM)を用いたテキスト生成におけるフレキシブル属性制御手法を提案する。 提案手法は、生成過程をPPCで導くことにより、生成したテキストの流布率を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-02-06T17:18:25Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
  本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。 本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。 推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
  論文  参考訳（メタデータ） (2023-12-07T13:53:29Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training [25.75982440355576]
  制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。 NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。 トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:00:51Z)
• Controllable Dialogue Generation with Disentangled Multi-grained Style Specification and Attribute Consistency Reward [47.96949534259019]
  マルチ属性制約下で応答生成を行うための制御可能な対話生成モデルを提案する。 一般的に使用される制御属性を,応答生成に対する影響の粒度が異なる大域的および局所的な属性に分類する。 我々のモデルは、応答品質、コンテンツ多様性、制御性の観点から、競争ベースラインを大幅に上回ることができる。
  論文  参考訳（メタデータ） (2021-09-14T14:29:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。