Fugu-MT 論文翻訳(概要): Gradients with Respect to Semantics Preserving Embeddings Tell the Uncertainty of Large Language Models

論文の概要: Gradients with Respect to Semantics Preserving Embeddings Tell the Uncertainty of Large Language Models

arxiv url: http://arxiv.org/abs/2605.04638v1
Date: Wed, 06 May 2026 08:30:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-07 18:41:07.725475
Title: Gradients with Respect to Semantics Preserving Embeddings Tell the Uncertainty of Large Language Models
Title（参考訳）: 埋め込みを保存する意味論に配慮したグラディエントは、大言語モデルの不確かさを示す
Abstract要約: 不確実性定量化(UQ)はLLMの信頼性を確保する重要な手法である。本稿では,フリーフォーム生成のための最初の勾配に基づくUQ手法SemGradを提案する。提案手法は,LLMが意味論的に等価な入力摂動の下で安定な出力分布を維持すべきという重要な直感に基づいている。
参考スコア（独自算出の注目度）: 26.51836047191883
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Uncertainty quantification (UQ) is an important technique for ensuring the trustworthiness of LLMs, given their tendency to hallucinate. Existing state-of-the-art UQ approaches for free-form generation rely heavily on sampling, which incurs high computational cost and variance. In this work, we propose the first gradient-based UQ method for free-form generation, SemGrad, which is sampling-free and computationally efficient. Unlike prior gradient-based methods developed for classification tasks that operates in parameter space, we propose to consider gradients in semantic space. Our method builds on the key intuition that a confident LLM should maintain stable output distributions under semantically equivalent input perturbations. We interpret the stability as the gradients in semantic space and introduce a Semantic Preservation Score (SPS) to identify embeddings that best capture semantics, with respect to which gradients are computed. We further propose HybridGrad, which combines the strengths of SemGrad and parameter gradients. Experiments demonstrate that both of our methods provide efficient and effective uncertainty estimates, achieving superior performance than state-of-the-art methods, particularly in settings with multiple valid responses.
Abstract（参考訳）: 不確実性定量化(英: Uncertainty Quantification, UQ)は、幻覚の傾向から、LLMの信頼性を確保するための重要な手法である。既存の自由形式生成のための最先端のUQアプローチはサンプリングに大きく依存しており、高い計算コストと分散を引き起こす。本研究では,フリーフォーム生成のための最初の勾配に基づくUQ手法であるSemGradを提案する。パラメータ空間で動作する分類タスクのために開発された従来の勾配に基づく手法とは異なり、意味空間における勾配を考えることを提案する。提案手法は,自信あるLLMが意味論的に等価な入力摂動の下で安定な出力分布を維持するべきという重要な直観に基づいている。本研究では,セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・スコア(SPS)を導入し,セマンティック・セマンティック・セマンティックス(セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティックス(セマンティック・セマンティック・セマンティックス,セマンティック・セマンティック・セマンティックス,セマンティック・セマンティックス)の勾配と解釈する。さらに,SemGradの強度とパラメータ勾配を組み合わせたHybridGradを提案する。実験により, 両手法が有効かつ有効な不確実性推定を行い, 特に複数の有効応答を持つ環境では, 最先端手法よりも優れた性能が得られることが示された。

関連論文リスト

Statistical Inference for Stochastic Gradient Descent Beyond Finite Variance [10.36372217426986]
勾配降下 (SGD) は、大規模統計学習と最適化のための基礎アルゴリズムである。我々は,SGD軌道から信頼領域を構築するための,効率的なモデルに依存しない手法を開発した。
論文参考訳（メタデータ） (2026-05-25T16:18:39Z)
On the Role of Batch Size in Stochastic Conditional Gradient Methods [51.97510367368799]
条件勾配法におけるバッチサイズの役割を,$-KL条件下で検討した。バッチサイズの増加は、当初は最適化の精度を向上するが、重要なしきい値を超えると、固定トークン予算の下でのメリットと飽和度は、パフォーマンスを劣化させる可能性がある。
論文参考訳（メタデータ） (2026-03-22T12:23:41Z)
GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
強化学習のための勾配整列データ選択法GradAlignを提案する。 GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
論文参考訳（メタデータ） (2026-02-25T01:54:50Z)
Grad-ELLM: Gradient-based Explanations for Decoder-only LLMs [52.15785423211181]
Grad-ELLMは、デコーダのみをベースとした大規模言語モデルのための勾配に基づく属性法である。我々は、より公平な比較を提供する2つの忠実度指標$-Soft-NCと$-Soft-NSを導入する。実験の結果,Grad-ELLMは他の属性法よりも優れた忠実性が得られることがわかった。
論文参考訳（メタデータ） (2026-01-06T15:22:39Z)
Beyond First-Order: Training LLMs with Stochastic Conjugate Subgradients and AdamW [2.028622227373579]
勾配に基づく降下(SGD)は、長い間、大きな言語モデル(LLM)の訓練の中心であった。本稿では,LLMを学習するための適応サンプリングとともに,共役下次法を提案する。
論文参考訳（メタデータ） (2025-07-01T23:30:15Z)
Semi-Implicit Variational Inference via Kernelized Path Gradient Descent [12.300415631357406]
Kullback-Leibler分散を用いたトレーニングは、高次元設定における高分散とバイアスのために難しい場合がある。非パラメトリックな平滑化によるトレーニングを安定化するカーネル化されたKL分散推定器を提案する。関数空間における我々の手法のバイアスは良性であり、より安定で効率的な最適化をもたらす。
論文参考訳（メタデータ） (2025-06-05T14:34:37Z)
Uncertainty Quantification with the Empirical Neural Tangent Kernel [13.132499571608868]
トレーニング終了時のオーバーパラメータ化ネットワークに対するポストホックサンプリングに基づくUQ手法を提案する。提案手法は,(確率的な)勾配-発散サンプリング法を用いて,効率的かつ有意義な深層アンサンブルを構築する。提案手法は,複数の要因によるコスト削減の計算効率において,競合するアプローチよりも優れるだけでなく,回帰処理と分類処理の両方において,様々なUQ指標の最先端性能を維持できることを示す。
論文参考訳（メタデータ） (2025-02-05T04:01:34Z)
Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
論文参考訳（メタデータ） (2024-08-20T09:42:26Z)
Expected Grad-CAM: Towards gradient faithfulness [7.2203673761998495]
勾配重み付きCAMアプローチは依然としてバニラ勾配に依存している。本研究は飽和度と感度問題に対処する勾配重み付きCAM増強法を提案する。
論文参考訳（メタデータ） (2024-06-03T12:40:30Z)
Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文参考訳（メタデータ） (2023-06-20T15:07:37Z)
Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文参考訳（メタデータ） (2023-03-31T02:10:30Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。