論文の概要: From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging

• arxiv url: http://arxiv.org/abs/2606.00357v2
• Date: Fri, 05 Jun 2026 05:55:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.27226
• Title: From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging
• Title（参考訳）: 弱」信号から強モデル:LoRAマージによるデルタアグリゲーション
• Authors: Qi Sun, Siyue Zhang, Yulin Chen, Yuxiang Xue, Ru Peng, Chen Zhao,
• Abstract要約: 強力な大規模言語モデル(LLM)のトレーニングには高品質な監視が必要で、しばしば不足する。 近年の研究では、弱ウェイカーモデルペアのペア選好データが、比較的高品質なデルタを通した効果的な監視信号を提供できることが示されている。 複数の「弱」信号は、強いモデル(例えば、Qwen3 8B)を改善するために構成的に集約できるのか? PDAは、各弱いウェイカーモデルペアから選好デルタを導出し、選好最適化を通じて学習したLoRAアダプタとしてインスタンス化し、結果として得られるデルタをLoRAマージによって集約する最初のフレームワークである。
• 参考スコア（独自算出の注目度）: 26.22748334252526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training strong large language models (LLMs) requires high-quality supervision, which is often scarce. Recent work shows that paired preference data from weak-weaker model pairs (e.g., Qwen3 4B over 1.7B), despite the limited quality of individual responses, can provide an effective supervision signal through relative quality deltas, which we term a "weak" signal. This motivates a key research question: can multiple "weak" signals be constructively aggregated for improving strong models (e.g., Qwen3 8B)? To this end, we propose Preference Delta Aggregation (PDA), the first framework that derives a preference delta from each weak-weaker model pair, instantiates it as a LoRA adapter learned through preference optimization, and aggregates the resulting deltas via LoRA merging. To further mitigate directional interference during LoRA merging, we introduce Geometric Alignment Merging (GAM), a geometry-aware merging method that aligns adapter subspaces before aggregation, enabling more robust composition of diverse deltas. Evaluations on knowledge reasoning and agentic search benchmarks show that aggregating multiple "weak" signals pushes performance beyond any single signal, with further gains as additional signals are incorporated. Correspondingly, PDA with GAM improves the strong model by 6.8 and 7.3 points on average for knowledge reasoning and agentic search, respectively. It outperforms all single-delta and multi-delta baselines, exceeding the best single-delta baseline by 2.1 and 4.3 points. Further analysis attributes these gains to the effective composition of complementary capabilities encoded across distinct preference deltas.
• Abstract（参考訳）: 強力な大規模言語モデル(LLM)のトレーニングには高品質な監視が必要で、しばしば不足する。 近年の研究では、個々の応答の質が限られているにもかかわらず、弱いウェイカーモデルペア(例えば、Qwen3 4B over 1.7B)のペア選好データが、相対的な品質デルタを通した効果的な監視信号を提供することが示されている。 複数の「弱」信号を構成的に集約して、強いモデル(例えば、Qwen3 8B)を改善することができるか? そこで本研究では,各弱いウェイカーモデルペアから選好デルタを導出する最初のフレームワークであるPreference Delta Aggregation(PDA)を提案し,選好最適化を通じて学習したLoRAアダプタとしてインスタンス化し,その結果のデルタをLoRAマージにより集約する。 LoRAマージ時の指向性干渉を緩和するため,多様なデルタのより堅牢な構成を実現するために,アダプティブ部分空間をアグリゲーション前に整列する幾何学的アライメントマージ法であるGeometric Alignment Merging (GAM)を導入する。 知識推論とエージェント検索ベンチマークの評価から、複数の"弱"信号の集約は、任意の単一信号よりもパフォーマンスを向上させ、追加信号が組み込まれるにつれてさらに向上することが示された。 それに対応して、GAMを用いたPDAは、知識推論とエージェントサーチにおいて、それぞれ平均6.8ポイントと7.3ポイントの強いモデルを改善する。 シングルデルタベースラインとマルチデルタベースラインを上回り、2.1ポイントと4.3ポイントで最高の1デルタベースラインを上回っている。 さらなる分析により、これらの利得は、異なる選好デルタにまたがって符号化された相補的能力の効果的な構成に起因している。

関連論文リスト

• When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors [66.18091962164219]
  既存のメトリクスは、タスクの成功に必要な義務的な振る舞いと、モデルの自律的な嗜好を反映した命令的でないパターンを区別することができない。 言語アライメントのための textbfResponse Pattern similarity (RPS) と、有向グラフとしてモデル化されたツール使用習慣のための textbfAction Graph similarity (AGS) である。
  論文  参考訳（メタデータ） (2026-04-23T03:48:56Z)
• PaTaRM: Bridging Pairwise and Pointwise Signals via Preference-Aware Task-Adaptive Reward Modeling [19.258007121955924]
  Preference-Aware Task-Aware Reward Model (PaTaRM) は、Rest-Aware rewardメカニズムと動的ルーリック適応を統合した統合フレームワークである。 PaTaRMは、IFEvalとInFoBenchベンチマークで平均13.6%改善され、下流RLHFのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2025-10-28T09:43:47Z)
• Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation [49.98025799046136]
  Merge-And-GuidEは、ガイド付きデコーディングにモデルマージを利用する2段階のフレームワークである。 ステージ1では、MAGEはガイダンスとベースモデルの互換性の問題を解決する。 ステージ2では、明示的で暗黙的な値モデルを統一的なガイダンスプロキシにマージします。
  論文  参考訳（メタデータ） (2025-10-04T11:10:07Z)
• Optimal Control Meets Flow Matching: A Principled Route to Multi-Subject Fidelity [35.95129874095729]
  テキスト・トゥ・イメージ(T2I)モデルは単一エンタリティ・プロンプトに優れるが、多目的記述に苦慮する。 マルチオブジェクト忠実度に向けてサンプリングダイナミクスを操るための原理的最適化可能な目的を持った最初の理論的枠組みを導入する。
  論文  参考訳（メタデータ） (2025-10-02T17:59:58Z)
• Efficient Modular Learning through Naive LoRA Summation: Leveraging Orthogonality in High-Dimensional Models [1.0923877073891446]
  Low-Rank Adaptation (LoRA)はパラメータデルタを2つの小さな行列の積として保存する。 Naive summationは追加のトレーニングを必要とせず、数秒で適用でき、マージされたデータでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-16T08:49:02Z)
• The Delta Learning Hypothesis: Preference Tuning on Weak Data can Yield Strong Gains [50.66245575710432]
  個々のデータポイントからなるペアの嗜好データにより、個々のデータポイントの強度を超える利得が得られることを示す。 私たちの研究は、モデルが一般的に弱いと考えられるペアデータから驚くほどうまく学習できることを示しています。
  論文  参考訳（メタデータ） (2025-07-08T17:14:44Z)
• Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment [57.03947082589616]
  大規模言語モデル(LLM)は、しばしばコントラスト的なアライメント目標と選好ペアデータセットを使用してアライメントされる。 これについて検討し、基礎となる応答が対照的な場合、嗜好データがより良い学習信号を与えることを示した。 我々は、よりコントラスト的な選好ペアを生み出すデータ生成手法である、AI Revisions (CLAIR) からのコントラスト学習を紹介する。 我々の最良のモデルは、APOで32K CLAIRの選好に基づいて訓練され、Llama-3-8B-Instructを7.65%改善し、GPT4-turboとのギャップを45%短縮しました。
  論文  参考訳（メタデータ） (2024-08-12T16:24:51Z)
• DELLA-Merging: Reducing Interference in Model Merging through Magnitude-Based Sampling [24.270321913746233]
  そこで本研究では,mAgnitude(DELLA-Merging)とSampLingを併用した新しいモデルマージ手法であるDropとrEscaLeを提案する。 MAGPRUNEはまず、これらのパラメータを等級順にランク付けし、より低い等級のパラメータに高い降下確率(p)を割り当てる。
  論文  参考訳（メタデータ） (2024-06-17T15:02:45Z)
• AffineGlue: Joint Matching and Robust Estimation [74.04609046690913]
  AffineGlue, 連立2視点特徴マッチングとロバストな推定法を提案する。 AffineGlueは、最小限のモデルを推定するために、1対多の対応から潜在的なマッチを選択する。 ガイドマッチングはモデルと一致した一致を見つけるために使用され、1対1の一致の曖昧さに悩まされる。
  論文  参考訳（メタデータ） (2023-07-28T08:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。