論文の概要: Semantic Probabilistic Control of Language Models

• arxiv url: http://arxiv.org/abs/2505.01954v1
• Date: Sun, 04 May 2025 01:21:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.351765
• Title: Semantic Probabilistic Control of Language Models
• Title（参考訳）: 言語モデルのセマンティック確率制御
• Authors: Kareem Ahmed, Catarina G Belem, Padhraic Smyth, Sameer Singh,
• Abstract要約: セマンティック制御は、微妙な非語彙的制約を満たすためにLM世代を操る。 我々は、検証者の情報勾配を利用して、対象属性を満たす全ての世代を効率的に推論する。 高確率で制約を満たす世代を産出するLMの毒性, 感情, 話題順守の制御におけるアプローチの有効性を評価する。
• 参考スコア（独自算出の注目度）: 27.866585120174484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic control entails steering LM generations towards satisfying subtle non-lexical constraints, e.g., toxicity, sentiment, or politeness, attributes that can be captured by a sequence-level verifier. It can thus be viewed as sampling from the LM distribution conditioned on the target attribute, a computationally intractable problem due to the non-decomposable nature of the verifier. Existing approaches to LM control either only deal with syntactic constraints which cannot capture the aforementioned attributes, or rely on sampling to explore the conditional LM distribution, an ineffective estimator for low-probability events. In this work, we leverage a verifier's gradient information to efficiently reason over all generations that satisfy the target attribute, enabling precise steering of LM generations by reweighing the next-token distribution. Starting from an initial sample, we create a local LM distribution favoring semantically similar sentences. This approximation enables the tractable computation of an expected sentence embedding. We use this expected embedding, informed by the verifier's evaluation at the initial sample, to estimate the probability of satisfying the constraint, which directly informs the update to the next-token distribution. We evaluated the effectiveness of our approach in controlling the toxicity, sentiment, and topic-adherence of LMs yielding generations satisfying the constraint with high probability (>95%) without degrading their quality.
• Abstract（参考訳）: セマンティックコントロールは、例えば毒性、感情、丁寧さといった微妙な非語彙的制約を満たすために、シーケンスレベルの検証によって取得できる属性を満たすために、LM世代をステアリングする。 これにより、対象属性に条件付きLM分布からサンプリングできる。これは、検証器の非分解性に起因する計算的に難解な問題である。 既存のLM制御へのアプローチは、上記の属性をキャプチャできない構文的制約のみを扱うか、あるいは低確率事象の非効率な推定器である条件付きLM分布を探索するためにサンプリングに依存するかのいずれかである。 本研究では、検証器の勾配情報を利用して、対象属性を満たす全ての世代を効率的に推論し、次点分布を補正することで、LM生成の正確なステアリングを可能にする。 最初のサンプルから始めて、意味的に類似した文を優先したローカルなLM分布を作成する。 この近似は、期待される文の埋め込みの抽出可能な計算を可能にする。 提案手法では, 初期サンプルにおける検証者の評価により予測された埋め込みを用いて, 制約を満たす確率を推定し, 次点分布への更新を直接通知する。 本研究は, 毒性, 感情, トピック・アドヒアランスを制御し, それらの品質を低下させることなく, 高い確率 (>95%) で制約を満たす世代を産み出す方法の有効性を評価した。

関連論文リスト

• TRACE Back from the Future: A Probabilistic Reasoning Approach to Controllable Language Generation [28.852235159871032]
  TRACEは期待属性確率を効率的に計算する新しいフレームワークである。 トラクタブルな確率的推論と軽量な制御によって、新しい属性に適応する。 TRACEは、10%のデコードオーバーヘッドで、最先端の結果をデトキシ化する。
  論文  参考訳（メタデータ） (2025-04-25T17:59:13Z)
• Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation [0.0]
  LLM生成符号の正確性のプロキシとして不確実性推定を検討する。 自然言語生成からコード生成領域への2つの最先端技術を適用する。 これらの手法を用いて計算した不確実性と正確性との間には強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2025-02-17T10:03:01Z)
• Controllable Generation via Locally Constrained Resampling [77.48624621592523]
  本研究では, ベイズ条件付けを行い, 制約条件下でサンプルを描画する, トラクタブルな確率的手法を提案する。 提案手法はシーケンス全体を考慮し,現行のグリード法よりも大域的に最適に制約された生成を導出する。 提案手法は, 有害な世代からモデル出力を分離し, 脱毒化に対する同様のアプローチより優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-17T00:49:53Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
  稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。 パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。 自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
  論文  参考訳（メタデータ） (2022-03-24T01:09:46Z)
• A Distributional Approach to Controlled Text Generation [3.279201607581627]
  予め訓練された言語モデル(LM)から制御されたテキスト生成に対処するための分布的アプローチを提案する。 このビューでは、単一の形式的なフレームワークで、ターゲット lm 上で "pointwise" と "distributional" の制約を定義することができる。 次に,我々のアプローチのユニークな特徴である分布制約に関する実験を行い,言語モデルにおけるバイアス問題に対する対策としての可能性を示す。
  論文  参考訳（メタデータ） (2020-12-21T19:02:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。