論文の概要: Linearly Controlled Language Generation with Performative Guarantees

• arxiv url: http://arxiv.org/abs/2405.15454v1
• Date: Fri, 24 May 2024 11:30:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 14:42:18.416288
• Title: Linearly Controlled Language Generation with Performative Guarantees
• Title（参考訳）: 性能保証付き線形制御言語生成
• Authors: Emily Cheng, Marco Baroni, Carmen Amo Alonso,
• Abstract要約: 我々は、LMの潜在空間で線形に表現される概念意味論の共通モデルを用いる。 本研究では,望ましくない意味に対応する領域から動的に軌道を逸脱する,軽量で勾配のない介入を提案する。
• 参考スコア（独自算出の注目度）: 9.487387238674721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing prevalence of Large Language Models (LMs) in critical applications highlights the need for controlled language generation strategies that are not only computationally efficient but that also enjoy performance guarantees. To achieve this, we use a common model of concept semantics as linearly represented in an LM's latent space. In particular, we take the view that natural language generation traces a trajectory in this continuous semantic space, realized by the language model's hidden activations. This view permits a control-theoretic treatment of text generation in latent space, in which we propose a lightweight, gradient-free intervention that dynamically steers trajectories away from regions corresponding to undesired meanings. Crucially, we show that this intervention, which we compute in closed form, is guaranteed (in probability) to steer the output into the allowed region. Finally, we demonstrate on a toxicity avoidance objective that the intervention steers language away from undesired content while maintaining text quality.
• Abstract（参考訳）: 批判的アプリケーションにおける大規模言語モデル(LM)の普及は、計算効率だけでなく、性能保証も享受する制御された言語生成戦略の必要性を強調している。 これを実現するために、LMの潜在空間で線形に表現される概念意味論の共通モデルを用いる。 特に、自然言語生成は、この連続的な意味空間における軌跡を辿り、言語モデルの隠れアクティベーションによって実現される。 本研究では,非所望な意味に対応する領域から動的にトラジェクトリを分離する,軽量で勾配のない介入を提案する。 重要なことに、私たちが計算したこの介入は、許可された領域への出力を(確率で)保証することを示しています。 最後に, テキスト品質を維持しつつ, 介入が望ましくないコンテンツから言語を遠ざけることを, 有害性回避の目的として示す。

関連論文リスト

• Mitigating Semantic Leakage in Cross-lingual Embeddings via Orthogonality Constraint [6.880579537300643]
  現在の不整合表現学習法はセマンティックリークに悩まされている。 我々は,新しい学習目標orthogonAlity Constraint LEarning(ORACLE)を提案する。 ORACLEはクラス内のクラスタリングとクラス間の分離という2つのコンポーネントの上に構築されている。 ORACLE目標を用いたトレーニングは,意味的漏洩を効果的に低減し,埋め込み空間内の意味的アライメントを高めることを実証する。
  論文  参考訳（メタデータ） (2024-09-24T02:01:52Z)
• Learning Disentangled Semantic Spaces of Explanations via Invertible Neural Networks [10.880057430629126]
  切り離された潜在空間は、通常、より良い意味分離性と幾何学的性質を持ち、より良い解釈可能性とより制御可能なデータ生成をもたらす。 本研究では,より一般的な文意味的特徴の局所的な修正と制御を目的とした,文の絡み合いのより一般的な形態に着目した。 本稿では,トランスフォーマベース言語であるオートエンコーダ(AE)と統合されたフローベース可逆ニューラルネットワーク(INN)機構を導入し,より分離性に優れた潜在空間を実現する。
  論文  参考訳（メタデータ） (2023-05-02T18:27:13Z)
• Language Model Detoxification in Dialogue with Contextualized Stance Control [18.30723730898435]
  言語モデル解毒に関するこれまでの研究は、文脈を考慮せずに世代自体の毒性(自己毒性)を減らすことに重点を置いてきた。 本稿では,文脈依存的解毒を行う新しい制御手法を提案する。 実験の結果,提案手法は,基礎となるLMの自己毒性を低く保ちつつ,文脈依存型姿勢制御戦略を効果的に学習できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-25T00:47:28Z)
• Language Detoxification with Attribute-Discriminative Latent Space [59.167432249229584]
  トランスフォーマーベースの言語モデル(LM)は、自然言語理解タスクにおいて印象的な結果を得た。 また、侮辱、脅し、暴言などの有毒なテキストを生成でき、現実世界の応用を制限できる。 本稿では,属性識別型潜在空間を用いた効果的かつ効率的な言語解毒法を提案する。
  論文  参考訳（メタデータ） (2022-10-19T06:54:42Z)
• Robust Unsupervised Cross-Lingual Word Embedding using Domain Flow Interpolation [48.32604585839687]
  従来の敵対的アプローチは、並列データ無しに言語間単語埋め込みを誘導する有望な結果を示している。 そこで本研究では,滑らかなブリッジングのための中間空間列を提案する。
  論文  参考訳（メタデータ） (2022-10-07T04:37:47Z)
• GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer [119.70961704127157]
  近年,非並列テキストスタイルの転送が研究の関心を集めている。 現在のアプローチでは、元の文の内容やロジックを保存できない。 文を言語グラフとしてモデル化し,グラフレベルで特徴抽出とスタイル転送を行う,グラフトランスフォーマーベースのAuto-GTAEを提案する。
  論文  参考訳（メタデータ） (2021-02-01T11:08:45Z)
• APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
  本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。 適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。 言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-30T19:05:41Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。