論文の概要: TRACE Back from the Future: A Probabilistic Reasoning Approach to Controllable Language Generation

• arxiv url: http://arxiv.org/abs/2504.18535v1
• Date: Fri, 25 Apr 2025 17:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.867368
• Title: TRACE Back from the Future: A Probabilistic Reasoning Approach to Controllable Language Generation
• Title（参考訳）: TRACE from the Future: A Probabilistic Reasoning Approach to Controllable Language Generation
• Authors: Gwen Yidou Weng, Benjie Wang, Guy Van den Broeck,
• Abstract要約: TRACEは期待属性確率を効率的に計算する新しいフレームワークである。 トラクタブルな確率的推論と軽量な制御によって、新しい属性に適応する。 TRACEは、10%のデコードオーバーヘッドで、最先端の結果をデトキシ化する。
• 参考スコア（独自算出の注目度）: 28.852235159871032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LMs) advance, there is an increasing need to control their outputs to align with human values (e.g., detoxification) or desired attributes (e.g., personalization, topic). However, autoregressive models focus on next-token predictions and struggle with global properties that require looking ahead. Existing solutions either tune or post-train LMs for each new attribute - expensive and inflexible - or approximate the Expected Attribute Probability (EAP) of future sequences by sampling or training, which is slow and unreliable for rare attributes. We introduce TRACE (Tractable Probabilistic Reasoning for Adaptable Controllable gEneration), a novel framework that efficiently computes EAP and adapts to new attributes through tractable probabilistic reasoning and lightweight control. TRACE distills a Hidden Markov Model (HMM) from an LM and pairs it with a small classifier to estimate attribute probabilities, enabling exact EAP computation over the HMM's predicted futures. This EAP is then used to reweigh the LM's next-token probabilities for globally compliant continuations. Empirically, TRACE achieves state-of-the-art results in detoxification with only 10% decoding overhead, adapts to 76 low-resource personalized LLMs within seconds, and seamlessly extends to composite attributes.
• Abstract（参考訳）: 大規模言語モデル(LM)が進むにつれて、人間の値(例えば、デトキシフィケーション)や望ましい属性(例えば、パーソナライゼーション、トピック)に合わせて出力を制御する必要性が高まっている。 しかし、自己回帰モデルは次世代の予測に重点を置いており、先を見据える必要がある世界的特性と闘っている。 既存のソリューションは、新しい属性ごとにチューンやポストトレインのLM(高価で柔軟性のない)、あるいはサンプリングやトレーニングによって将来のシーケンスの期待される属性確率(EAP)を近似する。 TRACE(Tractable Probabilistic Reasoning for Adaptable Controllable gEneration)は,EAPを効率的に計算し,トラクタブルな確率的推論と軽量な制御によって新たな属性に適応する新しいフレームワークである。 TRACE は LM から隠れマルコフモデル (HMM) を蒸留し、小さな分類器と組み合わせて属性確率を推定し、HMM の予測した未来に対する正確な EAP 計算を可能にする。 このEAPは、世界規模で準拠する継続に対するLMの次の確率を再考するために使用される。 実証的には、TRACEは10%のデコードオーバーヘッドでデトキシ化の状態を達成し、76個の低リソースパーソナライズされたLDMに数秒で適応し、複合属性にシームレスに拡張する。

関連論文リスト

• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• Language Models Can Predict Their Own Behavior [28.80639362933004]
  入力トークンの内部表現だけでは、次のトークンだけでなく、出力シーケンス全体に対する最終的な振る舞いを正確に予測できることがよく示されます。 この能力を活用して、内部状態のプローブを学習して、早期警告(および終了)システムを作成します。 具体的には、探査機がLMの振る舞いを確実に見積もることができれば、システムはトークンを全く生成せず、代わりに推定された振る舞いを返す。
  論文  参考訳（メタデータ） (2025-02-18T23:13:16Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Evaluation of Active Feature Acquisition Methods for Static Feature Settings [6.645033437894859]
  能動機能取得性能評価のための半オフライン強化学習フレームワーク(AFAPE)を提案する。 本稿では,AFAPE問題を時間不変な静的な特徴設定に適用し,拡張する。 半オフラインRLフレームワーク内の新しい逆確率重み付け(IPW)、直接法(DM)、二重強化学習(DRL)推定器を導出し、適応する。
  論文  参考訳（メタデータ） (2023-12-06T17:07:42Z)
• Beyond MLE: Convex Learning for Text Generation [34.99340118597274]
  我々は、機械翻訳のようなクローズドエンドテキスト生成タスクにおいて、最大推定(MLE)が必ずしも必要であり、最適であるとは限らないと論じる。 本研究では,データ分布全体を推定することなく,テキスト生成モデルを高い確率出力に集中させることができる,凸関数に基づく新たな学習目標のクラスを提案する。
  論文  参考訳（メタデータ） (2023-10-26T08:08:43Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
  本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。 自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
  論文  参考訳（メタデータ） (2022-09-23T18:36:01Z)
• Complex Event Forecasting with Prediction Suffix Trees: Extended Technical Report [70.7321040534471]
  複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。 このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。 複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T09:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。