論文の概要: Effect of Model Merging in Domain-Specific Ad-hoc Retrieval

• arxiv url: http://arxiv.org/abs/2509.21966v1
• Date: Fri, 26 Sep 2025 06:54:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.247364
• Title: Effect of Model Merging in Domain-Specific Ad-hoc Retrieval
• Title（参考訳）: ドメイン特化アドホック検索におけるモデルマージの効果
• Authors: Taiga Sasaki, Takehiro Yamamoto, Hiroaki Ohshima, Sumio Fujita,
• Abstract要約: モデルマージ(英: Model merging)は、複数のモデルの多様な特性を組み合わせた技法である。 我々は、線形アプローチを用いて、ソース検索モデルとドメイン固有(非検索)モデルの重みをマージした。 実験結果から,モデルマージにより,より効果的なドメイン固有検索モデルが得られる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.1164586555084026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study, we evaluate the effect of model merging in ad-hoc retrieval tasks. Model merging is a technique that combines the diverse characteristics of multiple models. We hypothesized that applying model merging to domain-specific ad-hoc retrieval tasks could improve retrieval effectiveness. To verify this hypothesis, we merged the weights of a source retrieval model and a domain-specific (non-retrieval) model using a linear interpolation approach. A key advantage of our approach is that it requires no additional fine-tuning of the models. We conducted two experiments each in the medical and Japanese domains. The first compared the merged model with the source retrieval model, and the second compared it with a LoRA fine-tuned model under both full and limited data settings for model construction. The experimental results indicate that model merging has the potential to produce more effective domain-specific retrieval models than the source retrieval model, and may serve as a practical alternative to LoRA fine-tuning, particularly when only a limited amount of data is available.
• Abstract（参考訳）: 本研究では,アドホック検索タスクにおけるモデルマージの効果を評価する。 モデルマージ(英: Model merging)は、複数のモデルの多様な特性を組み合わせた技法である。 ドメイン固有のアドホック検索タスクにモデルマージを適用することにより,検索効率が向上する可能性が示唆された。 この仮説を検証するために、線形補間手法を用いて、ソース検索モデルとドメイン固有(非検索)モデルの重みをマージした。 このアプローチの重要な利点は、モデルの追加的な微調整を必要としないことです。 医学領域と日本の領域でそれぞれ2つの実験を行った。 第1はマージモデルとソース検索モデルを比較し、第2はモデル構築のための完全なデータ設定と制限されたデータ設定の両方の下で、LoRAの微調整モデルと比較した。 実験結果から、モデルマージは、ソース検索モデルよりも効果的なドメイン固有検索モデルを生成する可能性があり、特に限られたデータしか利用できない場合、LoRAファインチューニングの実用的な代替として機能する可能性が示唆された。

関連論文リスト

• Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
  モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。 最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。 限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
  論文  参考訳（メタデータ） (2025-05-27T14:10:46Z)
• Exploring Model Kinship for Merging Large Language Models [73.98345036483299]
  我々は, モデル進化を反復的融合を通じて研究し, 生物進化の類似性について考察した。 モデル親和性はマージによって達成された性能改善と密接に関連していることを示す。 本稿では,新しいモデル統合戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• CONTRAST: Continual Multi-source Adaptation to Dynamic Distributions [42.293444710522294]
  Continual Multi-source Adaptation to Dynamic Distributions (CONTRAST) は、複数のソースモデルを最適に組み合わせて動的テストデータに適応する新しい手法である。 提案手法は,ソースモデルを最適に組み合わせ,モデル更新の優先順位付けを最小限に行うことができることを示す。
  論文  参考訳（メタデータ） (2024-01-04T22:23:56Z)
• The Importance of Downstream Networks in Digital Pathology Foundation Models [1.689369173057502]
  162のアグリゲーションモデル構成を持つ3つの異なるデータセットにまたがる7つの特徴抽出モデルを評価する。 多くの特徴抽出器モデルの性能は顕著に類似していることが判明した。
  論文  参考訳（メタデータ） (2023-11-29T16:54:25Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。