論文の概要: KL-Divergence Guided Temperature Sampling

• arxiv url: http://arxiv.org/abs/2306.01286v1
• Date: Fri, 2 Jun 2023 06:11:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 16:31:48.726995
• Title: KL-Divergence Guided Temperature Sampling
• Title（参考訳）: KL拡散誘導温度サンプリング
• Authors: Chung-Ching Chang, David Reitter, Renat Aksitov, Yun-Hsuan Sung
• Abstract要約: 温度が上がると、予測は多様になるが、幻覚にも弱い。 幻覚を緩和するための一般的なアプローチは、ソース/グラウンドのドキュメントを提供することである。 本稿では,デコードステップよりも温度が一定であることの制約を緩和すると共に,その発生源との関係に応じて動的温度を誘導する機構を提案する。
• 参考スコア（独自算出の注目度）: 5.814590699329214
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Temperature sampling is a conventional approach to diversify large language model predictions. As temperature increases, the prediction becomes diverse but also vulnerable to hallucinations -- generating tokens that are sensible but not factual. One common approach to mitigate hallucinations is to provide source/grounding documents and the model is trained to produce predictions that bind to and are attributable to the provided source. It appears that there is a trade-off between diversity and attribution. To mitigate any such trade-off, we propose to relax the constraint of having a fixed temperature over decoding steps, and a mechanism to guide the dynamic temperature according to its relevance to the source through KL-divergence. Our experiments justifies the trade-off, and shows that our sampling algorithm outperforms the conventional top-k and top-p algorithms in conversational question-answering and summarization tasks.
• Abstract（参考訳）: 温度サンプリングは、大規模言語モデルの予測を多様化するための従来の手法である。 温度が上昇すると、予測は多様化するが幻覚にも弱い。 幻覚を緩和するための一般的なアプローチは、ソース/接地文書を提供することであり、モデルは、提供されたソースに結合し、帰属する予測を生成するように訓練される。 多様性と帰属の間にはトレードオフがあるようだ。 このようなトレードオフを緩和するために、復号ステップよりも温度が一定であることの制約を緩和し、KL偏差によるソースへの関係に応じて動的温度を誘導する機構を提案する。 提案手法は,従来のtop-kアルゴリズムやtop-pアルゴリズムよりも,対話型質問処理や要約タスクにおいて優れていることを示す。

関連論文リスト

• Top-$nσ$: Not All Logits Are You Need [25.133593066927794]
  ソフトマックス前のロジットを直接操作する新しいサンプリング手法である Top-nsigma$ を導入する。 温度スケーリングにかかわらず,トップ$nsigma$は安定したサンプリング空間を維持していることを示す。 また、その振る舞いをよりよく理解するために、トップ$nsigma$の理論分析も提供する。
  論文  参考訳（メタデータ） (2024-11-12T08:46:43Z)
• Rectified Diffusion Guidance for Conditional Generation [62.00207951161297]
  CFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。 本稿では,誘導係数を緩和したReCFGを提案する。 このようにして、修正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Temperature Optimization for Bayesian Deep Learning [9.610060788662972]
  テストログ予測密度を最大化する温度を選択するためのデータ駆動手法を提案する。 提案手法は,グリッド探索において,コストのごく一部で比較可能な性能を実証的に証明する。
  論文  参考訳（メタデータ） (2024-10-08T07:32:22Z)
• REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
  大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。 核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-06-11T21:44:49Z)
• Bayesian Conditional Diffusion Models for Versatile Spatiotemporal Turbulence Generation [13.278744447861289]
  本稿では,乱流発生の確率的拡散モデルに基づく新しい生成フレームワークを提案する。 提案手法の特長は, 自己回帰に基づく条件抽出に基づく長寿命流れ列生成法である。 数値解析実験により, フレームワークの多目的乱流発生能力を実証した。
  論文  参考訳（メタデータ） (2023-11-14T04:08:14Z)
• Dynamically Scaled Temperature in Self-Supervised Contrastive Learning [11.133502139934437]
  本稿では,コサインの類似性に依存した温度スケーリング機能を提案することで,自己教師型学習におけるInfoNCE損失の性能向上に着目する。 実験的な証拠は、提案フレームワークが損失ベースのSSLアルゴリズムよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-02T13:31:41Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• ShiftDDPMs: Exploring Conditional Diffusion Models by Shifting Diffusion Trajectories [144.03939123870416]
  本稿では,前処理に条件を導入することで,新しい条件拡散モデルを提案する。 いくつかのシフト規則に基づいて各条件に対して排他的拡散軌跡を割り当てるために、余剰潜在空間を用いる。 我々は textbfShiftDDPMs と呼ぶメソッドを定式化し、既存のメソッドの統一的な視点を提供する。
  論文  参考訳（メタデータ） (2023-02-05T12:48:21Z)
• Extracting or Guessing? Improving Faithfulness of Event Temporal Relation Extraction [87.04153383938969]
  本研究では,TempRel抽出モデルの忠実度を2つの観点から改善する。 第1の視点は、文脈記述に基づいて真に抽出することである。 第2の視点は、適切な不確実性評価を提供することである。
  論文  参考訳（メタデータ） (2022-10-10T19:53:13Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。