論文の概要: Effect of Model Merging in Domain-Specific Ad-hoc Retrieval

• arxiv url: http://arxiv.org/abs/2509.21966v1
• Date: Fri, 26 Sep 2025 06:54:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.247364
• Title: Effect of Model Merging in Domain-Specific Ad-hoc Retrieval
• Title（参考訳）: ドメイン特化アドホック検索におけるモデルマージの効果
• Authors: Taiga Sasaki, Takehiro Yamamoto, Hiroaki Ohshima, Sumio Fujita,
• Abstract要約: モデルマージ(英: Model merging)は、複数のモデルの多様な特性を組み合わせた技法である。 我々は、線形アプローチを用いて、ソース検索モデルとドメイン固有(非検索)モデルの重みをマージした。 実験結果から,モデルマージにより,より効果的なドメイン固有検索モデルが得られる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.1164586555084026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study, we evaluate the effect of model merging in ad-hoc retrieval tasks. Model merging is a technique that combines the diverse characteristics of multiple models. We hypothesized that applying model merging to domain-specific ad-hoc retrieval tasks could improve retrieval effectiveness. To verify this hypothesis, we merged the weights of a source retrieval model and a domain-specific (non-retrieval) model using a linear interpolation approach. A key advantage of our approach is that it requires no additional fine-tuning of the models. We conducted two experiments each in the medical and Japanese domains. The first compared the merged model with the source retrieval model, and the second compared it with a LoRA fine-tuned model under both full and limited data settings for model construction. The experimental results indicate that model merging has the potential to produce more effective domain-specific retrieval models than the source retrieval model, and may serve as a practical alternative to LoRA fine-tuning, particularly when only a limited amount of data is available.
• Abstract（参考訳）: 本研究では,アドホック検索タスクにおけるモデルマージの効果を評価する。 モデルマージ(英: Model merging)は、複数のモデルの多様な特性を組み合わせた技法である。 ドメイン固有のアドホック検索タスクにモデルマージを適用することにより,検索効率が向上する可能性が示唆された。 この仮説を検証するために、線形補間手法を用いて、ソース検索モデルとドメイン固有(非検索)モデルの重みをマージした。 このアプローチの重要な利点は、モデルの追加的な微調整を必要としないことです。 医学領域と日本の領域でそれぞれ2つの実験を行った。 第1はマージモデルとソース検索モデルを比較し、第2はモデル構築のための完全なデータ設定と制限されたデータ設定の両方の下で、LoRAの微調整モデルと比較した。 実験結果から、モデルマージは、ソース検索モデルよりも効果的なドメイン固有検索モデルを生成する可能性があり、特に限られたデータしか利用できない場合、LoRAファインチューニングの実用的な代替として機能する可能性が示唆された。

関連論文リスト

• From Model Choice to Model Belief: Establishing a New Measure for LLM-Based Research [0.0]
  大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするためにますます使われている。 LLMの出力を単一のデータポイントとして扱うことは、LLMの確率的性質に固有の情報を過小評価する。 本稿では, LLMのトークンレベルの確率から導かれる「モデル信念」を紹介し, 定式化する。
  論文  参考訳（メタデータ） (2025-12-29T03:50:40Z)
• Model Correlation Detection via Random Selection Probing [62.093777777813756]
  既存の類似性に基づく手法では、モデルパラメータにアクセスしたり、しきい値なしでスコアを生成する必要がある。 本稿では,モデル相関検出を統計的テストとして定式化する仮説テストフレームワークであるランダム選択探索(RSP)を紹介する。 RSPは相関の証拠を定量化する厳密なp-値を生成する。
  論文  参考訳（メタデータ） (2025-09-29T01:40:26Z)
• Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
  モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。 最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。 限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
  論文  参考訳（メタデータ） (2025-05-27T14:10:46Z)
• Exploring Model Kinship for Merging Large Language Models [73.98345036483299]
  我々は, モデル進化を反復的融合を通じて研究し, 生物進化の類似性について考察した。 モデル親和性はマージによって達成された性能改善と密接に関連していることを示す。 本稿では,新しいモデル統合戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• CONTRAST: Continual Multi-source Adaptation to Dynamic Distributions [42.293444710522294]
  Continual Multi-source Adaptation to Dynamic Distributions (CONTRAST) は、複数のソースモデルを最適に組み合わせて動的テストデータに適応する新しい手法である。 提案手法は,ソースモデルを最適に組み合わせ,モデル更新の優先順位付けを最小限に行うことができることを示す。
  論文  参考訳（メタデータ） (2024-01-04T22:23:56Z)
• The Importance of Downstream Networks in Digital Pathology Foundation Models [1.689369173057502]
  162のアグリゲーションモデル構成を持つ3つの異なるデータセットにまたがる7つの特徴抽出モデルを評価する。 多くの特徴抽出器モデルの性能は顕著に類似していることが判明した。
  論文  参考訳（メタデータ） (2023-11-29T16:54:25Z)
• Increasing Performance And Sample Efficiency With Model-agnostic Interactive Feature Attributions [3.0655581300025996]
  我々は,2つの一般的な説明手法(Occlusion と Shapley の値)に対して,モデルに依存しない実装を提供し,その複雑なモデルにおいて,完全に異なる属性を強制する。 提案手法は,修正された説明に基づいてトレーニングデータセットを増強することで,モデルの性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-28T15:23:28Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Data from Model: Extracting Data from Non-robust and Robust Models [83.60161052867534]
  この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。 本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。 以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
  論文  参考訳（メタデータ） (2020-07-13T05:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。