論文の概要: Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging

• arxiv url: http://arxiv.org/abs/2502.06876v2
• Date: Thu, 13 Feb 2025 06:28:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:25:30.820983
• Title: Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging
• Title（参考訳）: 混合データかマージモデルか? モデルマージによる大言語モデルのヘルプフルネス、正直、ハームレスネスのバランス
• Authors: Jinluan Yang, Dingnan Jin, Anke Tang, Li Shen, Didi Zhu, Zhengyu Chen, Daixin Wang, Qing Cui, Zhiqiang Zhang, Jun Zhou, Fei Wu, Kun Kuang,
• Abstract要約: 本稿では,大規模言語モデル(LLM)におけるモデルマージのための,最初の包括的なベンチマークを確立する。 分析の結果, これまで見過ごされた3H次元間のコラボレーティブ/コンフリクト関係, (ii) 整合性トレードオフのバランスをとる上でのデータ混在アプローチに対するモデルマージの一貫性上の優位性, (iii) 冗長なコンポーネントプルーニングとアウトリー緩和によるパラメータレベルのコンフリクト解決の重要な役割, の3点が明らかになった。 重み付きパラメータの重み付けと、重み付きパラメータに適応したスペーサ適応ランク選択戦略を組み込んだ、重み付け強化タスク特異ベクトルマージ手法であるR-TSVMを提案する。
• 参考スコア（独自算出の注目度）: 35.53877806259048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Achieving balanced alignment of large language models (LLMs) in terms of Helpfulness, Honesty, and Harmlessness (3H optimization) constitutes a cornerstone of responsible AI, with existing methods like data mixture strategies facing limitations including reliance on expert knowledge and conflicting optimization signals. While model merging offers a promising alternative by integrating specialized models, its potential for 3H optimization remains underexplored. This paper establishes the first comprehensive benchmark for model merging in 3H-aligned LLMs, systematically evaluating 15 methods (12 training-free merging and 3 data mixture techniques) across 10 datasets associated with 5 annotation dimensions, 2 LLM families, and 2 training paradigms. Our analysis reveals three pivotal insights: (i) previously overlooked collaborative/conflicting relationships among 3H dimensions, (ii) the consistent superiority of model merging over data mixture approaches in balancing alignment trade-offs, and (iii) the critical role of parameter-level conflict resolution through redundant component pruning and outlier mitigation. Building on these findings, we propose R-TSVM, a Reweighting-enhanced Task Singular Vector Merging method that incorporates outlier-aware parameter weighting and sparsity-adaptive rank selection strategies adapted to the heavy-tailed parameter distribution and sparsity for LLMs, further improving LLM alignment across multiple evaluations. We release our trained models for further exploration.
• Abstract（参考訳）: Helpfulness, Honesty, Harmlessness(3H最適化)という観点で、大きな言語モデル(LLM)のバランスの取れたアライメントを実現することは、専門家の知識への依存や最適化信号の矛盾といった制約に直面したデータ混合戦略といった、責任あるAIの基盤となる。 モデルマージは、特殊なモデルを統合することで有望な代替手段を提供するが、3H最適化の可能性はまだ未定である。 本稿では,5つのアノテーション次元,2つのLLMファミリー,および2つのトレーニングパラダイムに関連する10のデータセットに対して,15の手法(トレーニングフリーマージおよび3つのデータ混合手法)を体系的に評価し,3H対応LLMにおけるモデルマージに関する最初の総合的ベンチマークを確立する。 私たちの分析では3つの重要な洞察が浮かび上がっています。 (i) これまで見過ごされた3H次元間の協調・紛争関係 二 整合トレードオフの均衡におけるデータ混合アプローチに対するモデルマージの一貫した優位性、及び 三 余剰成分の刈り取り及び外乱緩和によるパラメータレベルの紛争解決の重要な役割 これらの結果に基づいて, 重み付きパラメータ分布とLLMの疎度に適応したパラメータ重み付けと空間適応的ランク選択戦略を組み込んだ, 再重み付きタスク特異ベクトルマージ手法 R-TSVM を提案する。 さらなる探索のためにトレーニングされたモデルをリリースします。

関連論文リスト

• Meta-rater: A Multi-dimensional Data Selection Method for Pre-training Language Models [7.61977883644433]
  我々はPRRCを提案し、プロフェッショナル主義、可読性、推論、クリーンラインにまたがるデータ品質を評価する。 学習した最適重み付けにより,これらの次元を既存の品質指標と統合する多次元データ選択手法であるMeta-raterを紹介する。 実験により、Meta-raterは1.3Bパラメータモデルの収束速度を2倍にし、100Bトークンでトレーニングされた3.3Bモデルにおいて、ダウンストリームタスクのパフォーマンスを3.23倍改善することを示した。
  論文  参考訳（メタデータ） (2025-04-19T06:12:33Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• LEWIS (LayEr WIse Sparsity) -- A Training Free Guided Model Merging Approach [0.0]
  LEWIS(Layer Wise Sparsity)は、ガイド付きモデルマージフレームワークである。 階層的なタスク固有の知識を保持することによって、既存のマージ手法をガイドする。 コード命令追従モデルと数解モデルの性能改善によるLEWISの有効性を実証した。
  論文  参考訳（メタデータ） (2025-03-05T20:09:59Z)
• Mixup Model Merge: Enhancing Model Merging Performance through Randomized Linear Interpolation [15.47711837051754]
  Mixup Model Mergeは、Mixupデータ拡張技術にインスパイアされた革新的なアプローチである。 M$3$は、マージされたモデルの性能を大幅に向上させる、単純だが効果的なモデルマージ手法である。
  論文  参考訳（メタデータ） (2025-02-21T13:01:26Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• InfiFusion: A Unified Framework for Enhanced Cross-Model Reasoning via LLM Fusion [35.56060538535215]
  本稿では,複数のドメイン特化モデルを効率的なピボットモデルに統合する戦略について検討する。 複数のLLMの強度を組み合わせるための2つの融合戦略を提案する。 GSM8K,MATH,HumanEvalの各タスクにおいて,9.27%,8.80%,8.89%の精度向上を実現した。
  論文  参考訳（メタデータ） (2025-01-06T06:29:55Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Making Large Language Models Better Planners with Reasoning-Decision Alignment [70.5381163219608]
  マルチモーダリティ強化LLMに基づくエンドツーエンド意思決定モデルを提案する。 ペア化されたCoTと計画結果との推論・決定アライメントの制約を提案する。 提案する大規模言語プランナをRDA-Driverとして推論・決定アライメントする。
  論文  参考訳（メタデータ） (2024-08-25T16:43:47Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Progressively Label Enhancement for Large Language Model Alignment [42.01694160556464]
  大きな言語モデル(LLM)のアライメントは、モデルが人間の期待に反するコンテンツを生成するのを防ぐことを目的としている。 生成したデータの進化的品質に基づいてモデルのトレーニングプロセスを動的に調整するフレームワークであるPLEを提案する。
  論文  参考訳（メタデータ） (2024-08-05T16:21:17Z)
• Model Merging and Safety Alignment: One Bad Model Spoils the Bunch [70.614652904151]
  LLM(Merging Large Language Models)は、複数の専門家のLLMを1つの汎用モデルに結合するコスト効率のよい手法である。 現在のアプローチでは、マージ時の安全性の整合性の重要性を見落とし、非常に不整合のモデルに繋がることが多い。 我々は,既存の手法がドメインの専門知識を伝達するだけでなく,ミスアライメントを伝播することを示すために,いくつかの一般的なモデルマージ手法を評価した。
  論文  参考訳（メタデータ） (2024-06-20T17:59:58Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• RoCourseNet: Distributionally Robust Training of a Prediction Aware Recourse Model [29.057300578765663]
  RoCourseNetは、将来のデータシフトに対して堅牢な予測とリコースを共同で最適化するトレーニングフレームワークである。 RoCourseNetは、ロバストな妥当性を96%以上達成し、ロバストな説明を生成する上で、最先端のベースラインを少なくとも10%上回っていることを示す。
  論文  参考訳（メタデータ） (2022-06-01T18:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。