論文の概要: PruneCD: Contrasting Pruned Self Model to Improve Decoding Factuality

• arxiv url: http://arxiv.org/abs/2509.16598v2
• Date: Tue, 23 Sep 2025 07:28:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 14:02:59.910207
• Title: PruneCD: Contrasting Pruned Self Model to Improve Decoding Factuality
• Title（参考訳）: PruneCD:Decoding Factualityを改善するためのPruned Self Modelの対比
• Authors: Byeongho Yu, Changhun Lee, Jungyu Jin, Eunhyeok Park,
• Abstract要約: DoLaは、コントラストの前のモデルと同じモデルからの早期出口ロジットを利用する。 これらの初期の出口は平坦であり、大きさは小さく、有意義なコントラストを反映しない傾向にある。 本稿では,早期出口ではなく,階層プルーニングによるアマチュアモデルを構築する,新しいコントラストデコーディング手法PruneCDを提案する。
• 参考スコア（独自算出の注目度）: 16.112736649433103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To mitigate the hallucination problem in large language models, DoLa exploits early exit logits from the same model as a contrastive prior. However, we found that these early exit logits tend to be flat, low in magnitude, and fail to reflect meaningful contrasts. To address this, we propose PruneCD, a novel contrastive decoding method that constructs the amateur model via layer pruning rather than early exit. This design leads to more informative and well-aligned logits, enabling more effective contrastive decoding. Through qualitative and quantitative analyses, we demonstrate that PruneCD consistently improves factuality with minimal inference overhead, offering a robust and practical approach to mitigating hallucinations in LLMs.
• Abstract（参考訳）: 大きな言語モデルにおける幻覚の問題を緩和するために、DoLaは対照的な先行モデルと同じモデルからの早期出口ロジットを利用する。 しかし, 初期の出口は平坦で, 大きさが小さく, 有意なコントラストを反映できない傾向にあった。 そこで本研究では,早期出口ではなく,階層プルーニングによるアマチュアモデルを構築する,新しいコントラストデコーディング手法PruneCDを提案する。 この設計は、より情報的で整合性の高いロジットをもたらし、より効果的なコントラストデコーディングを可能にします。 質的,定量的な分析により,PruneCDは最小の推測オーバーヘッドで連続的に現実性を向上し,LLMにおける幻覚を緩和するための堅牢かつ実用的なアプローチを提供する。

関連論文リスト

• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [60.37610817226533]
  CoT推論(Chain-of-Thought reasoning)は、推論中の中間推論をステップバイステップで促進する。 CoTは、長いトークンシーケンスに対する自己回帰復号化に依存するため、かなりの計算オーバーヘッドを導入している。 本稿では,CoT推論を高速化するトークンレベルの信頼度に基づくハイブリッドデコーディングフレームワークであるR-Stitchを提案する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• ASCD: Attention-Steerable Contrastive Decoding for Reducing Hallucination in MLLM [12.091189146069198]
  MLLM(Multimodal Large Language Model)はしばしば幻覚に悩まされる。 彼らは部分的な手がかりを過度に評価し、誤った反応を生成する。 近年,視覚コントラスト復号法 (VCD) や命令コントラスト復号法 (ICD) などの手法が提案されている。
  論文  参考訳（メタデータ） (2025-06-17T17:58:11Z)
• EpiCoDe: Boosting Model Performance Beyond Training with Extrapolation and Contrastive Decoding [50.29046178980637]
  EpiCoDeは、余分なトレーニングなしでデータスカシティシナリオにおけるモデルパフォーマンスを向上させる方法である。 EpiCoDeは、既存のメソッドよりも大幅に、堅牢に改善されていることを示す。
  論文  参考訳（メタデータ） (2025-06-04T02:11:54Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  任意の制約下で高速かつ高品質な生成を可能にするアルゴリズムを提案する。 推測中、ノイズの多い画像上で計算された勾配更新と、最終的なクリーンな画像で計算されたアップデートとを交換できる。 我々のアプローチは、最先端のトレーニングフリー推論アプローチに匹敵するか、超越した結果をもたらす。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Lower Layers Matter: Alleviating Hallucination via Multi-Layer Fusion Contrastive Decoding with Truthfulness Refocused [27.894293943142447]
  大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて例外的な性能を示した。 彼らは時に「幻覚」と呼ばれる現象である不正確で反事実的な出力を発生させる。
  論文  参考訳（メタデータ） (2024-08-16T14:23:59Z)
• Sparse Progressive Distillation: Resolving Overfitting under Pretrain-and-Finetune Paradigm [7.662952656290564]
  トランスフォーマーベースの言語モデルのフットプリント要求を減らすために、様々なプルーニング手法が提案されている。 オーバーフィッティングのリスクを減らすことが,プレトレイン・アンド・ファインチューンパラダイムの下での刈り込みの有効性を初めて示す。
  論文  参考訳（メタデータ） (2021-10-15T16:42:56Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。