論文の概要: Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging

• arxiv url: http://arxiv.org/abs/2502.06876v3
• Date: Fri, 16 May 2025 05:35:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:12.165059
• Title: Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging
• Title（参考訳）: 混合データかマージモデルか? モデルマージによる大言語モデルのヘルプフルネス、正直、ハームレスネスのバランス
• Authors: Jinluan Yang, Dingnan Jin, Anke Tang, Li Shen, Didi Zhu, Zhengyu Chen, Ziyu Zhao, Daixin Wang, Qing Cui, Zhiqiang Zhang, Jun Zhou, Fei Wu, Kun Kuang,
• Abstract要約: 本稿では, 3H 対応 LLM の構築におけるモデルマージとデータ混合手法の有効性を体系的に比較する。 そこで本稿では,新しいtextbfReweighting textbfEnhanced Task textbfSingular textbfMerging method, textbfRESMを提案する。
• 参考スコア（独自算出の注目度）: 36.00016254809852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Achieving balanced alignment of large language models (LLMs) in terms of Helpfulness, Honesty, and Harmlessness (3H optimization) constitutes a cornerstone of responsible AI. Existing methods like data mixture strategies face limitations, including heavy reliance on expert knowledge and conflicting optimization signals. While model merging offers parameter-level conflict-resolution strategies through integrating specialized models' parameters, its potential for 3H optimization remains underexplored. This paper systematically compares the effectiveness of model merging and data mixture methods in constructing 3H-aligned LLMs for the first time, revealing previously overlooked collaborative and conflict relationships among the 3H dimensions and discussing the advantages and drawbacks of data mixture (\textit{data-level}) and model merging (\textit{parameter-level}) methods in mitigating the conflict for balanced 3H optimization. Specially, we propose a novel \textbf{R}eweighting \textbf{E}nhanced task \textbf{S}ingular \textbf{M}erging method, \textbf{RESM}, through outlier weighting and sparsity-aware rank selection strategies to address the challenges of preference noise accumulation and layer sparsity adaptation inherent in 3H-aligned LLM merging. Extensive evaluations can verify the effectiveness and robustness of RESM compared to previous data mixture (2\%-5\% gain) and model merging (1\%-3\% gain) methods in achieving balanced LLM alignment. We release our models through \href{https://huggingface.co/Jinluan}{3H\_Merging} for further investigations.
• Abstract（参考訳）: ヘルプフルネス、正直、ハームレスネス(3H最適化)という観点で、大きな言語モデル(LLM)のバランスの取れたアライメントを達成することは、責任あるAIの基盤となる。 データ混合戦略のような既存の手法では、専門家の知識への強い依存や、競合する最適化信号など、制限に直面します。 モデルマージは、特別なモデルのパラメータを統合することで、パラメータレベルのコンフリクト解決戦略を提供するが、3H最適化の可能性はまだ未定である。 本稿では, 3H 次元間での協調的・矛盾関係を明らかにするとともに, バランスの取れた 3H 最適化のためのコンフリクトを緩和するモデルマージ(\textit{parameter-level})法とモデルマージ(\textit{parameter-level})法の利点と欠点を論じ, 3H 次元間での協調的・矛盾関係を初めて構築する上で, モデルマージとデータミックス法の有効性を体系的に比較する。 具体的には, 3H 配向 LLM マージに固有の優先ノイズ蓄積と層幅適応の課題に対処するために, オーバーレイ重み付けとスペーサ性を考慮したランク選択手法により, 新規な \textbf{R}eweighting \textbf{E}nhanced task \textbf{S}ingular \textbf{M}erging method, \textbf{RESM} を提案する。 LLMアライメントにおけるRESMの有効性とロバスト性を,従来のデータ混合(2\%-5\%ゲイン)法とモデルマージ(1\%-3\%ゲイン)法と比較して検証することができる。 我々は、さらなる調査のために \href{https://huggingface.co/Jinluan}{3H\_Merging} を通じてモデルをリリースする。

関連論文リスト

• Meta-rater: A Multi-dimensional Data Selection Method for Pre-training Language Models [7.61977883644433]
  我々はPRRCを提案し、プロフェッショナル主義、可読性、推論、クリーンラインにまたがるデータ品質を評価する。 学習した最適重み付けにより,これらの次元を既存の品質指標と統合する多次元データ選択手法であるMeta-raterを紹介する。 実験により、Meta-raterは1.3Bパラメータモデルの収束速度を2倍にし、100Bトークンでトレーニングされた3.3Bモデルにおいて、ダウンストリームタスクのパフォーマンスを3.23倍改善することを示した。
  論文  参考訳（メタデータ） (2025-04-19T06:12:33Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• LEWIS (LayEr WIse Sparsity) -- A Training Free Guided Model Merging Approach [0.0]
  LEWIS(Layer Wise Sparsity)は、ガイド付きモデルマージフレームワークである。 階層的なタスク固有の知識を保持することによって、既存のマージ手法をガイドする。 コード命令追従モデルと数解モデルの性能改善によるLEWISの有効性を実証した。
  論文  参考訳（メタデータ） (2025-03-05T20:09:59Z)
• Mixup Model Merge: Enhancing Model Merging Performance through Randomized Linear Interpolation [15.47711837051754]
  Mixup Model Mergeは、Mixupデータ拡張技術にインスパイアされた革新的なアプローチである。 M$3$は、マージされたモデルの性能を大幅に向上させる、単純だが効果的なモデルマージ手法である。
  論文  参考訳（メタデータ） (2025-02-21T13:01:26Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• InfiFusion: A Unified Framework for Enhanced Cross-Model Reasoning via LLM Fusion [35.56060538535215]
  本稿では,複数のドメイン特化モデルを効率的なピボットモデルに統合する戦略について検討する。 複数のLLMの強度を組み合わせるための2つの融合戦略を提案する。 GSM8K,MATH,HumanEvalの各タスクにおいて,9.27%,8.80%,8.89%の精度向上を実現した。
  論文  参考訳（メタデータ） (2025-01-06T06:29:55Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Making Large Language Models Better Planners with Reasoning-Decision Alignment [70.5381163219608]
  マルチモーダリティ強化LLMに基づくエンドツーエンド意思決定モデルを提案する。 ペア化されたCoTと計画結果との推論・決定アライメントの制約を提案する。 提案する大規模言語プランナをRDA-Driverとして推論・決定アライメントする。
  論文  参考訳（メタデータ） (2024-08-25T16:43:47Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Progressively Label Enhancement for Large Language Model Alignment [42.01694160556464]
  大きな言語モデル(LLM)のアライメントは、モデルが人間の期待に反するコンテンツを生成するのを防ぐことを目的としている。 生成したデータの進化的品質に基づいてモデルのトレーニングプロセスを動的に調整するフレームワークであるPLEを提案する。
  論文  参考訳（メタデータ） (2024-08-05T16:21:17Z)
• Model Merging and Safety Alignment: One Bad Model Spoils the Bunch [70.614652904151]
  LLM(Merging Large Language Models)は、複数の専門家のLLMを1つの汎用モデルに結合するコスト効率のよい手法である。 現在のアプローチでは、マージ時の安全性の整合性の重要性を見落とし、非常に不整合のモデルに繋がることが多い。 我々は,既存の手法がドメインの専門知識を伝達するだけでなく,ミスアライメントを伝播することを示すために,いくつかの一般的なモデルマージ手法を評価した。
  論文  参考訳（メタデータ） (2024-06-20T17:59:58Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• RoCourseNet: Distributionally Robust Training of a Prediction Aware Recourse Model [29.057300578765663]
  RoCourseNetは、将来のデータシフトに対して堅牢な予測とリコースを共同で最適化するトレーニングフレームワークである。 RoCourseNetは、ロバストな妥当性を96%以上達成し、ロバストな説明を生成する上で、最先端のベースラインを少なくとも10%上回っていることを示す。
  論文  参考訳（メタデータ） (2022-06-01T18:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。