論文の概要: Sharing Knowledge without Sharing Data: Stitches can improve ensembles of disjointly trained models

• arxiv url: http://arxiv.org/abs/2512.17592v1
• Date: Fri, 19 Dec 2025 13:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.415694
• Title: Sharing Knowledge without Sharing Data: Stitches can improve ensembles of disjointly trained models
• Title（参考訳）: データを共有せずに知識を共有する: スティッチは不一致に訓練されたモデルのアンサンブルを改善することができる
• Authors: Arthur Guijt, Dirk Thierens, Ellen Kerkhof, Jan Wiersma, Tanja Alderliesten, Peter A. N. Bosman,
• Abstract要約: 医療領域のようないくつかの設定では、データはパーティ間で断片化され、簡単に共有できない。 非同期コラボレーションがパフォーマンスに与える影響について検討し,モデルを結合する手法としてステッチ法を提案する。 個別に訓練されたモデルにおける中間表現とよく配置された縫合層を組み合わせることで、この性能が競争の度合いに回復できることが判明した。
• 参考スコア（独自算出の注目度）: 0.9851812512860351
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has been shown to be very capable at performing many real-world tasks. However, this performance is often dependent on the presence of large and varied datasets. In some settings, like in the medical domain, data is often fragmented across parties, and cannot be readily shared. While federated learning addresses this situation, it is a solution that requires synchronicity of parties training a single model together, exchanging information about model weights. We investigate how asynchronous collaboration, where only already trained models are shared (e.g. as part of a publication), affects performance, and propose to use stitching as a method for combining models. Through taking a multi-objective perspective, where performance on each parties' data is viewed independently, we find that training solely on a single parties' data results in similar performance when merging with another parties' data, when considering performance on that single parties' data, while performance on other parties' data is notably worse. Moreover, while an ensemble of such individually trained networks generalizes better, performance on each parties' own dataset suffers. We find that combining intermediate representations in individually trained models with a well placed pair of stitching layers allows this performance to recover to a competitive degree while maintaining improved generalization, showing that asynchronous collaboration can yield competitive results.
• Abstract（参考訳）: ディープラーニングは多くの現実世界のタスクを実行する能力があることが示されている。 しかし、この性能は大規模で多様なデータセットの存在に依存していることが多い。 医療領域のようないくつかの設定では、データはパーティ間で断片化され、簡単に共有できない。 連合学習はこの状況に対処する一方で、モデルの重みに関する情報を交換し、単一のモデルをトレーニングする当事者の同期性を必要とするソリューションである。 我々は,すでに訓練済みのモデルのみを共有している非同期コラボレーション(出版物の一部など)がパフォーマンスにどのように影響するかを考察し,モデルを結合する手法として縫合を用いることを提案する。 多目的的な視点で、各パーティのデータのパフォーマンスを独立して見ることで、他のパーティのデータとマージする場合、他のパーティのデータとマージする場合、他のパーティのデータのパフォーマンスが顕著に悪い場合、単一のパーティのデータのみをトレーニングすることで、同様のパフォーマンスが得られることが分かる。 さらに、個別に訓練されたネットワークのアンサンブルがより一般化する一方で、各パーティのデータセットのパフォーマンスが低下する。 個別に訓練されたモデルの中間表現とよく配置された縫合層を組み合わせることで、この性能は一般化の改善を維持しつつも、競争度に回復し、非同期協調が競合する結果をもたらすことを示す。

関連論文リスト

• Scalable Data Ablation Approximations for Language Models through Modular Training and Merging [27.445079398772904]
  本稿では,学習コーパスのサブセット上で個々のモデルを訓練するデータ短縮を効果的に近似する方法を提案する。 任意の評価セットが与えられた場合、候補データに基づいてトレーニングされた単一モデルのパープレキシティスコアは、そのデータの異なる分割に基づいてトレーニングされたモデルのパラメータ平均のパープレキシティスコアと強く相関していることが分かる。
  論文  参考訳（メタデータ） (2024-10-21T06:03:49Z)
• How to Collaborate: Towards Maximizing the Generalization Performance in Cross-Silo Federated Learning [11.442808208742758]
  フェデレートクラスタリング(FL)は、プライバシを保存する分散学習フレームワークとして、鮮明な注目を集めている。 本研究では、クライアントがFLデータの後、モデルオーナーとなるクロスサイロFLに焦点を当てる。 我々は、より多くのトレーニングデータを持つ他のクライアントと協調することで、クライアントのパフォーマンスを改善できると定式化します。
  論文  参考訳（メタデータ） (2024-01-24T05:41:34Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Combining Data-driven Supervision with Human-in-the-loop Feedback for Entity Resolution [47.90125404360125]
  同一人物を表すデータポイントを特定し、統合するモデルを構築します。 このケーススタディでは、トレーニング・プロダクション性能のばらつきを解消するために、私たちのHuman-in-the-loopを有効にした、データ中心のソリューションについて論じる。
  論文  参考訳（メタデータ） (2021-11-20T02:22:12Z)
• Personalised Federated Learning: A Combinational Approach [10.204907134342637]
  Federated Learning(FL)は、複数のクライアントが共同で共有モデルをトレーニングする分散機械学習アプローチである。 FLでは、差分プライバシ(DP)やロバストアグリゲーション(RA)などのプライバシーと整合性保護機能が一般的に使用されている。 本研究では,一般的なディープラーニングタスクにおいて,FLモデルの性能がクライアントや状況によって異なることを示す。
  論文  参考訳（メタデータ） (2021-08-22T02:11:20Z)
• Federated Mixture of Experts [94.25278695272874]
  FedMixは特別なモデルのアンサンブルをトレーニングできるフレームワークです。 類似したデータ特性を持つユーザが同じメンバーを選択して統計的強度を共有することを示す。
  論文  参考訳（メタデータ） (2021-07-14T14:15:24Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。