論文の概要: Semantic-guided Diverse Decoding for Large Language Model

• arxiv url: http://arxiv.org/abs/2506.23601v1
• Date: Mon, 30 Jun 2025 08:06:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.968309
• Title: Semantic-guided Diverse Decoding for Large Language Model
• Title（参考訳）: 大規模言語モデルのための意味誘導型逆復号法
• Authors: Weijie Shi, Yue Cui, Yaguang Wu, Jingzhi Fang, Shibo Zhang, Mengze Li, Sirui Han, Jia Zhu, Jiajie Xu, Xiaofang Zhou,
• Abstract要約: Semantic-Guided Diverse Decoding (SeemDiD)を紹介する。 SemDiDは3つの相補的なメカニズムによって品質と多様性のバランスをとる。 実験では、SemDiDは既存のメソッドよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 13.808245335025308
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Diverse decoding of large language models is crucial for applications requiring multiple semantically distinct responses, yet existing methods primarily achieve lexical rather than semantic diversity. This limitation significantly constrains Best-of-N strategies, group-based reinforcement learning, and data synthesis. While temperature sampling and diverse beam search modify token distributions or apply n-gram penalties, they fail to ensure meaningful semantic differentiation. We introduce Semantic-guided Diverse Decoding (SemDiD), operating directly in embedding space that balances quality with diversity through three complementary mechanisms: orthogonal directional guidance, dynamic inter-group repulsion, and position-debiased probability assessment. SemDiD harmonizes these competing objectives using adaptive gain functions and constraint optimization, ensuring both quality thresholds and maximal semantic differentiation. Experiments show SemDiD consistently outperforms existing methods, improving Best-of-N coverage by 1.4-5.2% across diverse tasks and accelerating RLHF training convergence by 15% while increasing accuracy by up to 2.1%.
• Abstract（参考訳）: 大規模言語モデルの多言語復号化は、複数の意味的に異なる応答を必要とするアプリケーションにとって重要であるが、既存の手法は主に意味的多様性ではなく語彙的に達成されている。 この制限は、Best-of-N戦略、グループベースの強化学習、データ合成を著しく制限する。 温度サンプリングと多様なビームサーチはトークンの分布を変更したり、n-gramのペナルティを適用したりするが、意味のある意味的な区別は得られない。 本稿では, 直交方向誘導, 動的グループ間反発, 位置ずれ確率評価という3つの相補的なメカニズムを通じて, 品質と多様性のバランスをとる組込み空間で直接動作するセマンティック誘導逆復号法(Semantic-Guided Diverse Decoding, SemDiD)を紹介する。 SemDiDは、適応利得関数と制約最適化を用いて、これらの競合する目的を調和させ、品質閾値と最大意味分化の両方を保証する。 実験の結果、SemDiDは既存の手法を一貫して上回り、様々なタスクでベスト・オブ・Nカバレッジを1.4～5.2%改善し、RLHFトレーニングの収束を15%加速し、精度を2.1%向上させた。

関連論文リスト

• Semantic uncertainty in advanced decoding methods for LLM generation [35.31962554915952]
  本研究では,大規模言語モデル(LLM)における意味的不確実性について検討した。 モデル出力の多様性と信頼性の両方に異なる復号戦略がどう影響するかを分析する。
  論文  参考訳（メタデータ） (2025-06-17T10:09:29Z)
• Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
  RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。 RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。 本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-19T08:33:11Z)
• Evaluating the Diversity and Quality of LLM Generated Content [72.84945252821908]
  品質閾値を満たす出力間の効果的な意味的多様性を測定するための枠組みを導入する。 嗜好調整モデルでは語彙的および構文的多様性が低下するが、SFTやベースモデルよりも効果的な意味的多様性が得られる。 これらの発見は、多種多様な高品質な出力を必要とするアプリケーションに重要な意味を持つ。
  論文  参考訳（メタデータ） (2025-04-16T23:02:23Z)
• IPSeg: Image Posterior Mitigates Semantic Drift in Class-Incremental Segmentation [77.06177202334398]
  CISSにおけるセマンティックドリフトとデグレード性能に寄与する2つの重要な課題を特定した。 まず、モデルの異なる部分が異なる漸進的な段階に最適化されるという、別々の最適化の問題を強調します。 第二に、不適切な擬似ラベルから生じる雑音のセマンティクスを同定し、その結果、準最適結果が得られる。
  論文  参考訳（メタデータ） (2025-02-07T12:19:37Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Exact Subspace Diffusion for Decentralized Multitask Learning [17.592204922442832]
  マルチタスク学習のための分散戦略は、よりニュアンスな方法でエージェント間の関係を誘導し、コンセンサスを強制せずにコラボレーションを促進する。 本研究では,ネットワーク上の部分空間制約付きマルチタスク学習のための正確な拡散アルゴリズムの一般化を開発し,その平均二乗偏差の正確な式を導出する。 予測された性能表現の精度を数値的に検証するとともに,近似予測に基づく代替案に対する提案手法の性能向上を検証した。
  論文  参考訳（メタデータ） (2023-04-14T19:42:19Z)
• IFDID: Information Filter upon Diversity-Improved Decoding for Diversity-Faithfulness Tradeoff in NLG [5.771099867942164]
  本稿では、多様性と忠実性のトレードオフを得るために、多様性改善復号化情報フィルタ(IFDID)を提案する。 提案手法では, 忠実度を表すROUGEスコアが1.24高く, Dist-2では62.5%の多様性が従来の手法よりも高い。
  論文  参考訳（メタデータ） (2022-10-25T08:14:20Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。