論文の概要: CIE: Controlling Language Model Text Generations Using Continuous Signals

• arxiv url: http://arxiv.org/abs/2505.13448v1
• Date: Mon, 19 May 2025 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.809234
• Title: CIE: Controlling Language Model Text Generations Using Continuous Signals
• Title（参考訳）: CIE:連続信号を用いた言語モデルテキスト生成制御
• Authors: Vinay Samuel, Harshita Diddee, Yiming Zhang, Daphne Ippolito,
• Abstract要約: 本稿では,連続信号によるLMの正確な応答長の制御方法を示す。 本手法は,制御信号を離散信号として表現する文脈内学習法や微調整法よりも応答長制御をより確実に行う。
• 参考スコア（独自算出の注目度）: 21.78085834915499
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Aligning language models with user intent is becoming increasingly relevant to enhance user experience. This calls for designing methods that can allow users to control the properties of the language that LMs generate. For example, controlling the length of the generation, the complexity of the language that gets chosen, the sentiment, tone, etc. Most existing work attempts to integrate users' control by conditioning LM generations on natural language prompts or discrete control signals, which are often brittle and hard to scale. In this work, we are interested in \textit{continuous} control signals, ones that exist along a spectrum that can't easily be captured in a natural language prompt or via existing techniques in conditional generation. Through a case study in controlling the precise response-length of generations produced by LMs, we demonstrate how after fine-tuning, behaviors of language models can be controlled via continuous signals -- as vectors that are interpolated between a "low" and a "high" token embedding. Our method more reliably exerts response-length control than in-context learning methods or fine-tuning methods that represent the control signal as a discrete signal. Our full open-sourced code and datasets are available at https://github.com/vsamuel2003/CIE.
• Abstract（参考訳）: ユーザエクスペリエンスを高めるために,言語モデルをユーザ意図で調整することは,ますます関連性が高まっています。 これにより、LMが生成する言語のプロパティをユーザが制御できるような設計方法が求められます。 例えば、生成の長さの制御、選択される言語の複雑さ、感情、トーンなどです。 既存の作業の多くは、自然言語のプロンプトや離散的な制御信号にLM世代を条件付けすることで、ユーザの制御を統合する試みで、しばしば脆弱でスケールが難しい。 本研究では、自然言語のプロンプトや条件付き生成における既存の技術で容易に捕捉できないスペクトルに沿って存在する、‘textit{continuous}コントロールシグナルに関心がある。 LMによる正確な応答長の制御のケーススタディを通じて、言語モデルの振る舞いを連続的な信号によって制御する方法を、"低"と"高"トークンの埋め込みの間に補間されたベクトルとして示す。 本手法は,制御信号を離散信号として表現する文脈内学習法や微調整法よりも応答長制御をより確実に行う。 私たちの完全なオープンソースコードとデータセットはhttps://github.com/vsamuel2003/CIE.orgで公開されています。

関連論文リスト

• LANGTRAJ: Diffusion Model and Dataset for Language-Conditioned Trajectory Simulation [94.84458417662404]
  LangTrajは、トラフィックシナリオにおけるすべてのエージェントの共同動作をシミュレートする、言語条件のシーン拡散モデルである。 自然言語入力を条件付けすることで、LangTrajはインタラクティブな振る舞いを柔軟かつ直感的に制御できる。 LangTraj氏は、リアリズム、言語制御性、言語条件の安全クリティカルなシミュレーションにおいて、強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-04-15T17:14:06Z)
• Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
  テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。 単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T18:28:09Z)
• Synthesizing Interpretable Control Policies through Large Language Model Guided Search [7.706225175516503]
  Pythonのような標準言語のプログラムとしてコントロールポリシを表現しています。 シミュレーションで候補コントローラを評価し,事前学習したLLMを用いてそれらを進化させる。 本手法は,カップタスクにおける振り子の振り上げとボールの解釈可能な制御ポリシの合成への応用を通して述べる。
  論文  参考訳（メタデータ） (2024-10-07T18:12:20Z)
• Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation [16.49758711633611]
  大規模言語モデル(LLM)は、テキストベースのプロンプトに応答して、例外的な言語生成能力を示す。 本研究では,制御言語生成におけるPrompt Tuningの利用について検討する。 本稿では, 言語モデルによる有害, 有害, 偏見のあるテキストを緩和する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-08T01:54:28Z)
• ZeroGen: Zero-shot Multimodal Controllable Text Generation with Multiple Oracles [29.460712493470453]
  マルチモーダル信号(textscZeroGen)を用いたゼロショット制御可能なテキスト生成の新しいパラダイムを提案する。 textscZeroGenはトークンレベルから文レベルまで連続的にテキストと画像の制御を利用し、復号時にそれらを統一された確率空間にマッピングする。 textscZeroGenはキャプションタスクにおいて、大きなマージンで上回るだけでなく、高い制御率を持つマルチモーダルニュース生成にも大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-29T03:22:43Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• GenNI: Human-AI Collaboration for Data-Backed Text Generation [102.08127062293111]
  Table2Textシステムは、機械学習を利用した構造化データに基づいてテキスト出力を生成する。 GenNI (Generation Negotiation Interface) は、対話型ビジュアルシステムである。
  論文  参考訳（メタデータ） (2021-10-19T18:07:07Z)
• Plug-and-Blend: A Framework for Controllable Story Generation with Blended Control Codes [11.053902512072813]
  制御可能な言語生成フレームワークPlug-and-Blendについて述べる。 自動ストーリ生成のコンテキストでは、人間のユーザがトピックやそれらの間の遷移をきめ細やかに制御することができる。 人間の参加者による評価は、生成されたストーリーが2つのトピックの間で観測可能に遷移していることを示している。
  論文  参考訳（メタデータ） (2021-03-23T03:15:14Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)
• GeDi: Generative Discriminator Guided Sequence Generation [53.15651536569169]
  本稿では,より小さなLMを生成的識別器として利用し,大規模なLMから生成を誘導する効率的な方法としてGeDiを提案する。 GeDiは最先端技術よりも制御性が強く,生成速度も30倍以上に向上することがわかった。
  論文  参考訳（メタデータ） (2020-09-14T17:45:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。