論文の概要: A Pipeline to Assess Merging Methods via Behavior and Internals

• arxiv url: http://arxiv.org/abs/2509.19476v1
• Date: Tue, 23 Sep 2025 18:37:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.569255
• Title: A Pipeline to Assess Merging Methods via Behavior and Internals
• Title（参考訳）: 振る舞いと内部を通してマージ手法を評価するパイプライン
• Authors: Yutaro Sigris, Andreas Waldis,
• Abstract要約: マージング法は、複数の言語モデル(LM)の重みを組み合わせることで、ドメイン適応などの能力を活用する。 本稿では、まず複数の親LMをマージし、初期モデルと比較して統合されたモデルを評価する新しい評価パイプラインを提案する。 以上の結果から,マージ手法が動作や内部に異なる影響を与えることが明らかとなった。
• 参考スコア（独自算出の注目度）: 3.52359746858894
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Merging methods combine the weights of multiple language models (LMs) to leverage their capacities, such as for domain adaptation. While existing studies investigate merged models from a solely behavioral perspective, we offer the first comprehensive view by assessing and connecting their behavior and internals. We present a novel evaluation pipeline that first merges multiple parent LMs, and then evaluates the merged models in comparison to the initial ones based on their behavior on downstream tasks, like MMLU, and the internal encoded linguistic competence. We showcase this pipeline by assessing the merging of instruction fine-tuned with math- and code-adapted LMs from the Qwen2.5 family. Our results show that merging methods impacts behavior and internals differently. While the performance of merged models is typically between that of the two parent models, their encoded information about linguistic phenomena, particularly in morphology and syntax, can surpass the parent models. Moreover, we find weak ranking correlation between this behavior and internal evaluation. With our pipeline and initial results, we emphasize the need for more comprehensive evaluations of model merging methods to gain a faithful understanding of their capabilities and reliability, beyond potential superficial behavioral advances.
• Abstract（参考訳）: マージング法は、複数の言語モデル(LM)の重みを組み合わせることで、ドメイン適応などの能力を活用する。 既往の研究は、単に行動の観点からの統合モデルを研究する一方で、それらの行動と内部を評価・接続することで、最初の総合的な視点を提供する。 本稿では、まず複数の親LMをマージし、MMLUのような下流タスクの振る舞いと内部符号化言語能力に基づいて初期モデルと比較した。 このパイプラインは,Qwen2.5 ファミリーの算数およびコード適応型 LM と微調整された命令のマージを評価することで,実演する。 以上の結果から,マージ手法が動作や内部に異なる影響を与えることが明らかとなった。 統合モデルの性能は一般的に2つの親モデルとの間にあるが、言語現象に関する符号化された情報は、特に形態学や構文学において、親モデルを上回る可能性がある。 さらに, この挙動と内部評価との間には, 相関関係が弱いことが判明した。 パイプラインと初期結果により、潜在的な表面的行動の進歩を超えて、その能力と信頼性を忠実に理解するために、モデルマージ手法のより包括的な評価の必要性を強調します。

関連論文リスト

• Behavioral Fingerprinting of Large Language Models [35.18856642496912]
  現在のLLM(Large Language Models)のベンチマークは主にパフォーマンス指標に焦点を当てている。 本稿では,従来の評価を超越した行動フィンガープリントの枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-02T07:03:20Z)
• SeMe: Training-Free Language Model Merging via Semantic Alignment [32.178931149612644]
  SeMeは、遅延セマンティックアライメントを利用して、粒度の細かい層レベルでLMをマージする、新しくて、データフリーで、トレーニング不要なアプローチである。 SeMeは、外部データへの依存を排除しつつ、パフォーマンスと効率の両方で既存のメソッドよりも優れていることを実証する。 我々の研究は知識を意識したモデル統合のための新しいパラダイムを確立し、よりスケーラブルで解釈可能なモデル構成への道を開いた。
  論文  参考訳（メタデータ） (2025-05-26T15:45:56Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• Analyzing Generative Models by Manifold Entropic Metrics [8.477943884416023]
  抽出可能な情報理論評価指標を新たに導入する。 EMNISTデータセット上の各種正規化フローアーキテクチャと$beta$-VAEを比較した。 私たちの実験で最も興味深い発見は、トレーニング中に整列および非整合表現に収束する誘導バイアスの観点から、モデルアーキテクチャとトレーニング手順のランク付けです。
  論文  参考訳（メタデータ） (2024-10-25T09:35:00Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Causal Intersectionality and Dual Form of Gradient Descent for Multimodal Analysis: a Case Study on Hateful Memes [0.9120312014267044]
  モデル機構が証拠に基づく意思決定に因果的影響を明らかにする方法について検討する。 この研究は、因果性とXAIに関する対話をさらに進める。
  論文  参考訳（メタデータ） (2023-08-19T13:14:15Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。