論文の概要: On Emergent Capabilities and Model Merging

• arxiv url: http://arxiv.org/abs/2609.24504v1
• Date: Mon, 21 Sep 2026 12:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.286084
• Title: On Emergent Capabilities and Model Merging
• Title（参考訳）: 創発的能力とモデルマージについて
• Abstract要約: 2つの独立したテストベッド(アクティベーションオラクルと創発的ミスアライメントモデル)を3つのモデルファミリーで検討した。 答えは3倍に増えています。まず、融合は両親が持つ創発的な能力を保持します。 2つのシングルタスクのオラクルの重み付けされたマージは、共同で訓練されたオラクルの監査能力に到達しない。
• 参考スコア（独自算出の注目度）: 17.354608583469687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuned checkpoints and adapters now fill public repositories, and the most common operation applied to these artifacts is model merging: arithmetic on their weights that assembles capabilities cheaply. We ask what this operation does to emergent capabilities: behaviors an artifact carries that were never an explicit training target. Studying two independent testbeds (activation oracles and emergent-misaligned models) across three model families, we find that the answer is threefold. First, merging preserves an emergent capability that both parents carry: merging two misaligned checkpoints retains most of their broad misalignment across the whole mixing range. Second, merging cannot create an emergent capability that is superadditive in its parents: no weighted merge of two single-task oracles reaches the jointly-trained oracle's auditing ability. Third, when only one parent carries the capability, merging dilutes it faster than the trained capability that accompanies it: the gap is significant in most settings. In short, emergent behaviors of an artifact do not compose the way its trained capability does.
• Abstract（参考訳）: 微調整されたチェックポイントとアダプタがパブリックリポジトリを補完し、これらのアーティファクトに適用される最も一般的な操作はモデルマージである。 アーティファクトが持てる振る舞いは、明示的なトレーニング対象にはならない。 2つの独立したテストベッド(アクティベーションオラクルと創発的ミスアライメントモデル)を3つのモデルファミリで調べると、答えは3倍になる。 まず、融合は両親が持つ創発的な能力を保ちます。2つの不整合チェックポイントを融合することは、混合範囲全体にわたって広範囲な不整合を保ちます。 第二に、融合は両親にとって超付加的な創発的な能力を生み出すことができず、2つのシングルタスクのオラクルの重み付けされたマージが、共同で訓練されたオラクルの監査能力に達することはない。 第三に、ひとつの親だけが能力を持つ場合、それをマージすることは、それに伴う訓練された能力よりも早く希薄になる。 要するに、アーティファクトの創発的な振る舞いは、そのトレーニングされた能力の動作を構成するものではない。

関連論文リスト

• Uncovering Understanding-Generation Synergy in Native Unified Multimodal Models: From Representation, Task to System [90.64481646805855]
  統一マルチモーダルモデル(UMM)は、単一のモデル内で視覚的理解と生成を共同で行う。 制御された、構造的にネイティブな環境で、それらの関係を表現、タスク、システムレベルで調査する。 適切な特殊化やタスク知識の共有,エンドツーエンドの最適化など,UMMの価値は統一インターフェースを超えて,共存を相乗効果に転換できることを示す。
  論文  参考訳（メタデータ） (2026-09-01T17:59:59Z)
• Dual-Agent Reinforcement Learning for Automated Feature Generation [3.635311806373203]
  機能生成には、オリジナルの機能間の複雑な関係をキャプチャするために、生のデータから新機能を作成することが含まれる。 特徴生成のための強化学習を用いた現在の手法は、特徴探索をより柔軟かつ効率的にしている。 特徴生成のための新しい二エージェント強化学習法を提案する。
  論文  参考訳（メタデータ） (2025-05-19T02:24:16Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• Twin-Merging: Dynamic Integration of Modular Expertise in Model Merging [21.918559935122786]
  モデルマージは、複数のタスク固有のモデルを、余分なトレーニングなしで単一のマルチタスクモデルに結合する、有望な方法である。 従来のモデルマージ手法は、微調整されたモデルに比べて大きな性能差を示すことが多い。 共有されたタスク固有の知識と排他的なタスク固有の知識の両方が、パフォーマンスのマージには不可欠であるが、排他的な知識を直接マージすることは、全体的なパフォーマンスを妨げていることを示す。 本稿では,1)知識を共有コンポーネントと排他コンポーネントにモジュール化し,冗長性を低減し効率を向上する圧縮,(2)共有およびタスク固有の知識を動的にマージする,という2つの主要な段階を包含する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T02:31:55Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Are Emergent Abilities of Large Language Models a Mirage? [9.683505038585988]
  最近の研究は、大規模言語モデルには創発的な能力、大規模モデルに存在しない能力があると主張している。 ここでは、創発的能力の別の説明として、ある特定のタスクとモデルファミリーに対して、創発的能力は、研究者の計量の選択により現れる。 特に、非線形または不連続なメトリクスは明らかに創発的な能力を生み出すが、線形または連続的なメトリクスは滑らかで連続的なモデル性能の変化をもたらす。
  論文  参考訳（メタデータ） (2023-04-28T17:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。