論文の概要: A Distributional Optimisation Perspective on Combining Models in Deep Learning

• arxiv url: http://arxiv.org/abs/2609.24328v1
• Date: Mon, 21 Sep 2026 09:28:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.2343
• Title: A Distributional Optimisation Perspective on Combining Models in Deep Learning
• Title（参考訳）: 深層学習におけるモデルの組み合わせに関する分布最適化の視点
• Abstract要約: 異なるモデルからの予測を組み合わせることで、機械学習タスクのパフォーマンスが向上する。 しかし、個々のモデルのトレーニングとそれらを組み合わせるために使用されるルールは、通常別々に選択される。 分散最適化の最近の進歩は、原則付きジョイントトレーニングの機会を提供する。
• 参考スコア（独自算出の注目度）: 6.817077118841169
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Combining predictions from different models can improve performance at machine learning tasks, but the training of the individual models and the rule used to combine them are typically chosen separately, and by ad hoc means. Recent advances in distributional optimisation (i.e. where the optimisation occurs over the set of probability distributions) offer an opportunity for principled joint training, viewing the collection of models as a discrete distribution whose support points are to be optimised, but the potential of these methods is not well-understood. In this paper we (1) cast two standard combination strategies - ensembles and low-rank adapter averaging - as entropy-regularised distributional optimisation, observing that the resulting objective is convex in the ensemble case but not in the adapter-averaging case, so that existing convergence guarantees for mean field Langevin dynamics transfer only to the former; (2) assess existing and novel algorithms for this task, including a functional variant of variational gradient descent; and (3) report an empirical study spanning synthetic classification tasks and fine-tuning of large language models on a commonsense reasoning benchmark.
• Abstract（参考訳）: 異なるモデルからの予測を組み合わせることで、機械学習タスクのパフォーマンスを向上させることができるが、個々のモデルとそれらを組み合わせるために使用されるルールのトレーニングは、通常は別々に、アドホック手段によって選択される。 分布最適化の最近の進歩(すなわち確率分布の集合上で最適化が起こる場合)は、モデルの収集を最適化される離散分布と見なすが、これらの手法のポテンシャルは十分に理解されていない。 本稿では,(1)アンサンブルと低ランクのアダプタ平均化 - エントロピー規則化された分布最適化として, 結果として得られる目的がアンサンブルの場合において凸であり, アダプタ拡張の場合ではそうでないことを確認し, 平均場に対する既存の収束保証を前者のみに委ねること, (2) 変分勾配勾配の関数的変異を含む,既存のアルゴリズムと新規アルゴリズムを評価し, (3) 共感覚推論ベンチマーク上で, 合成分類タスクと大規模言語モデルの微調整に関する実証的研究を報告する。

関連論文リスト

• Diffusion-Based Data-Driven Assortment Optimization [14.10927475407741]
  導出離散拡散に基づくアソート最適化のためのモデルに依存しないフレームワークを提案する。 提案手法は,高品質なアソシエーションを一貫して識別し,モデルミスセグメンテーションの下では頑健であることを示す。
  論文  参考訳（メタデータ） (2026-08-11T20:37:44Z)
• SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
  本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。 提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。 様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-01T07:13:20Z)
• Composition and Alignment of Diffusion Models using Constrained Learning [79.36736636241564]
  拡散モデルは、複雑な分布からサンプルを採取する能力により、生成的モデリングにおいて普及している。 i) 拡散モデルを微調整して報酬と整合させるアライメントと、(ii) 予め訓練された拡散モデルを組み合わせて、それぞれが生成した出力に望ましい属性を強調する合成である。 本稿では,共役モデルが報酬制約を満たすこと,あるいは(潜在的に複数の)事前学習モデルに近づき続けることを強制することによって,拡散モデルのアライメントと構成を統一する制約付き最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-26T15:06:30Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• InterHandGen: Two-Hand Interaction Generation via Cascaded Reverse Diffusion [53.90516061351706]
  両手インタラクションに先立って生成を学習する新しいフレームワークであるInterHandGenを提案する。 サンプリングにアンチペネティフィケーションと合成フリーガイダンスを組み合わせることで、プラウシブルな生成を可能にする。 本手法は, 妥当性と多様性の観点から, ベースライン生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-03-26T06:35:55Z)
• Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
  本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。 本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
  論文  参考訳（メタデータ） (2023-09-16T00:54:57Z)
• A Unified Perspective on Natural Gradient Variational Inference with Gaussian Mixture Models [18.426817621478804]
  VIPSとiBayes-GMMの派生した更新は、初めて同じであることを示す。 どちらのアプローチにおいても、学習した近似の質はそれぞれの設計選択に大きく左右される可能性がある、と我々は主張する。 情報幾何学的信頼領域は1次自然勾配推定を用いても有効であることを示す。
  論文  参考訳（メタデータ） (2022-09-23T11:43:27Z)
• Optimizing model-agnostic Random Subspace ensembles [5.680512932725364]
  教師あり学習のためのモデルに依存しないアンサンブルアプローチを提案する。 提案手法は、ランダム部分空間アプローチのパラメトリックバージョンを用いてモデルのアンサンブルを学習することとを交互に行う。 シミュレーションおよび実世界のデータセット上で,予測と特徴ランキングの両面で,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-07T13:58:23Z)
• Data-Driven Logistic Regression Ensembles With Applications in Genomics [0.0]
  本稿では,正規化とアンサンブル技術を融合した高次元バイナリ分類手法を提案する。 医学ゲノミクスの応用において,本手法は競合する手法によって見落とされた重要なバイオマーカーを同定する。
  論文  参考訳（メタデータ） (2021-02-17T05:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。