論文の概要: (G)I-DLE: Generative Inference via Distribution-preserving Logit Exclusion with KL Divergence Minimization for Constrained Decoding

• arxiv url: http://arxiv.org/abs/2503.18050v1
• Date: Sun, 23 Mar 2025 12:37:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:34:58.648369
• Title: (G)I-DLE: Generative Inference via Distribution-preserving Logit Exclusion with KL Divergence Minimization for Constrained Decoding
• Title（参考訳）: (G)I-DLE:制約デコードのためのKL分数最小化による分散保存ロジット排他による生成推論
• Authors: Hanwool Lee,
• Abstract要約: (G)I-DLEは、KLの発散を利用して自己回帰言語モデルの固有条件確率分布を保存する制約付き復号法である。 我々はK2-Evalデータセット上で,韓国語の流布度を評価するために,本手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We propose (G)I-DLE, a new approach to constrained decoding that leverages KL divergence minimization to preserve the intrinsic conditional probability distribution of autoregressive language models while excluding undesirable tokens. Unlike conventional methods that naively set banned tokens' logits to $-\infty$, which can distort the conversion from raw logits to posterior probabilities and increase output variance, (G)I-DLE re-normalizes the allowed token probabilities to minimize such distortion. We validate our method on the K2-Eval dataset, specifically designed to assess Korean language fluency, logical reasoning, and cultural appropriateness. Experimental results on Qwen2.5 models (ranging from 1.5B to 14B) demonstrate that G-IDLE not only boosts mean evaluation scores but also substantially reduces the variance of output quality.
• Abstract（参考訳）: G)I-DLEは,KLの発散最小化を利用して,望ましくないトークンを排除しつつ,自己回帰言語モデルの本質的な条件確率分布を保存する制約付き復号法である。 禁止トークンのロジットを$-\infty$に鼻で設定する従来の方法とは異なり、生のロジットから後続の確率への変換を歪め、出力のばらつきを増大させることができるが、(G)I-DLEは許容トークン確率を再正規化し、そのような歪みを最小限に抑える。 K2-Evalデータセットを用いて,韓国語の流布度,論理的推論,文化的適切性を評価することを目的として,本手法の有効性を検証した。 Qwen2.5モデル(1.5Bから14Bまで)の実験結果から、G-IDLEは平均評価スコアを向上するだけでなく、出力品質のばらつきを大幅に低減することが示された。

関連論文リスト

• Contrastive CFG: Improving CFG in Diffusion Models by Contrasting Positive and Negative Concepts [55.298031232672734]
  As-Free Guidance (CFG) は条件拡散モデルサンプリングに有効であることが証明された。 対照的な損失を用いた負のCFG誘導を強化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:29:27Z)
• Rectified Diffusion Guidance for Conditional Generation [62.00207951161297]
  CFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。 本稿では,誘導係数を緩和したReCFGを提案する。 このようにして、修正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Dirichlet-Based Prediction Calibration for Learning with Noisy Labels [40.78497779769083]
  雑音ラベルによる学習はディープニューラルネットワーク(DNN)の一般化性能を著しく損なう 既存のアプローチでは、損失補正やサンプル選択手法によってこの問題に対処している。 そこで我々は,textitDirichlet-based Prediction (DPC) 法を解法として提案する。
  論文  参考訳（メタデータ） (2024-01-13T12:33:04Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• How to train your VAE [0.0]
  変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。 本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。 提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
  論文  参考訳（メタデータ） (2023-09-22T19:52:28Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Novelty Detection via Robust Variational Autoencoding [13.664682865991255]
  本稿では,トレーニングポイントの破壊を許容する新規性検出法を提案する。 本手法は,非破壊訓練点のモデルを生成することを目的とした,ロバストな変分オートエンコーダ(VAE)を訓練する。
  論文  参考訳（メタデータ） (2020-06-09T22:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。