論文の概要: Harmonizing Diverse Models: A Layer-wise Merging Strategy for Consistent Generation

• arxiv url: http://arxiv.org/abs/2510.14915v1
• Date: Thu, 16 Oct 2025 17:30:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.978587
• Title: Harmonizing Diverse Models: A Layer-wise Merging Strategy for Consistent Generation
• Title（参考訳）: 拡散モデルの調和: 一貫性生成のための層ワイズマージ戦略
• Authors: Xujun Peng, Anoop Kumar, Jingyu Wu, Parker Glenn, Daben Liu,
• Abstract要約: LLM(Large Language Models)は、検索されたコンテキストに基づいて正確で信頼性の高い応答を生成する。 LLMはしばしば意味論的に等価な入力に対して一貫性のない出力を生成する。 本稿では, 体系的な合成データ生成, 組込み性向上のための三重項損失, レイヤワイドモデルマージ手法を組み合わせた新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 8.340691940980834
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) systems leverage Large Language Models (LLMs) to generate accurate and reliable responses that are grounded in retrieved context. However, LLMs often generate inconsistent outputs for semantically equivalent inputs, a problem compounded by the scarcity of consistency-focused training data and the limitations of current fine-tuning techniques in enhancing output consistency. We propose a new approach combining systematic synthetic data generation, triplet loss for better embeddings, and a novel layer-wise model merging approach. Using consistency-aware weights derived from intermediate layer activations, our method effectively integrates knowledge from specialized models. Experimental results how that our merged model significantly enhances output consistency, achieving a ~47.5\% improvement in response similarity over the baseline, thus offering a practical solution for increasing the reliability of an industrial RAG system.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) システムは、Large Language Models (LLMs) を利用して、検索されたコンテキストに基礎を置く正確で信頼性の高い応答を生成する。 しかし、LLMは、一貫性を重視したトレーニングデータの不足と、出力整合性を高めるための現在の微調整技術の限界によって、意味論的に等価な入力に対して一貫性のない出力を生成することが多い。 本稿では, 体系的な合成データ生成, 組込み性向上のための三重項損失, レイヤワイドモデルマージ手法を組み合わせた新しい手法を提案する。 本手法は,中間層アクティベーションから得られる一貫性を考慮した重み付けを用いて,専門モデルからの知識を効果的に統合する。 その結果, マージモデルにより出力の整合性が大きく向上し, ベースラインに対する応答類似性が約47.5%向上し, 産業RAGシステムの信頼性を高めるための実用的なソリューションが得られた。

関連論文リスト

• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Adaptive Multi-Fidelity Reinforcement Learning for Variance Reduction in Engineering Design Optimization [0.0]
  多要素強化学習(Multi-fidelity Reinforcement Learning, RL)フレームワークは、様々な精度とコストの分析モデルを統合することにより、計算資源を効率的に活用する。 本研究では,複数の不均一な非階層的低忠実度モデルを高忠実度モデルとともに動的に活用する適応型多忠実RLフレームワークを提案する。 提案手法の有効性はオクトコプター設計最適化問題において実証され,2つの低忠実度モデルと高忠実度シミュレータを用いた。
  論文  参考訳（メタデータ） (2025-03-23T22:29:08Z)
• Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging [36.00016254809852]
  本稿では, 3H 対応 LLM の構築におけるモデルマージとデータ混合手法の有効性を体系的に比較する。 そこで本稿では,新しいtextbfReweighting textbfEnhanced Task textbfSingular textbfMerging method, textbfRESMを提案する。
  論文  参考訳（メタデータ） (2025-02-08T11:56:58Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• Progressively Label Enhancement for Large Language Model Alignment [42.01694160556464]
  大きな言語モデル(LLM)のアライメントは、モデルが人間の期待に反するコンテンツを生成するのを防ぐことを目的としている。 生成したデータの進化的品質に基づいてモデルのトレーニングプロセスを動的に調整するフレームワークであるPLEを提案する。
  論文  参考訳（メタデータ） (2024-08-05T16:21:17Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。