論文の概要: SLIM: Simplex-Lattice Interpolation Merging
- arxiv url: http://arxiv.org/abs/2610.01037v1
- Date: Thu, 01 Oct 2026 04:23:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.893202
- Title: SLIM: Simplex-Lattice Interpolation Merging
- Title(参考訳): SLIM:Simplex-Lattice補間マージ
- Abstract要約: bfSimplex-Lattice Interpolation Merging (SLIM) は、古典的混合設計を用いて、係数の単純な上での集約性能の二次的サロゲートを構成する。
2つのモデルアーキテクチャの実験では、未確認のマルチエキスパートと競合する混合物が、限られた評価予算の下でマージされるという正確な予測が示されている。
- 参考スコア(独自算出の注目度): 26.31264097587371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimizing merging coefficients for large language models can require many costly benchmark evaluations. We propose \textbf{Simplex-Lattice Interpolation Merging (SLIM)}, which constructs a quadratic surrogate of aggregate performance on the coefficient simplex using a classical mixture design. Evaluations of individual experts and equal-weight pairs determine the surrogate with the minimum number of measurements needed to identify a general quadratic on this domain. SLIM then optimizes the surrogate without further target-metric evaluations. Experiments on two model architectures demonstrate accurate prediction of unseen multi-expert mixtures and competitive merge performance under limited evaluation budgets. Matched-budget comparisons show that structured evaluation points improve prediction fidelity over random designs, including those using regularized fitting.
- Abstract(参考訳): 大きな言語モデルのマージ係数を最適化するには、多くのコストのかかるベンチマーク評価が必要になる。
本稿では,古典的混合設計を用いて,係数の単純な上での集約性能の二次的サロゲートを構成する,SLIM(textbf{Simplex-Lattice Interpolation Merging)を提案する。
個々の専門家と等重量のペアの評価は、この領域の一般二次性を特定するのに必要な測定値の最小値でサロゲートを決定する。
SLIMは、さらなる目標値評価なしでサロゲートを最適化する。
2つのモデルアーキテクチャの実験は、限られた評価予算の下で、目に見えないマルチエキスパート混合と競合マージ性能の正確な予測を示す。
整合予算比較では、構造化された評価点が正規化されたフィッティングを含むランダムな設計よりも予測忠実性を向上させることが示されている。
関連論文リスト
- Mixture-Model Preference Learning for Many-Objective Bayesian Optimization [21.451177846149417]
そこで本研究では,潜在性選好アーチタイプを学習するベイズ的枠組みを提案する。
モードアイデンティティやモード内トレードオフに関する情報をターゲットとしたハイブリッドクエリを設計する。
提案手法は, 合成および実世界の多目的ベンチマークにおいて, 標準ベースラインを上回っている。
論文 参考訳(メタデータ) (2026-03-30T13:18:43Z) - Multiple-Prediction-Powered Inference [57.30769275944024]
この研究は、MultiPPI推定器のミニマックス最適性、有限サンプル性能、正規性に関する理論的保証を提供する。
我々は,MultiPPIが既存のベースラインよりも低い推定誤差を実現することを示す。
論文 参考訳(メタデータ) (2026-03-28T21:24:00Z) - Fast Model Selection and Stable Optimization for Softmax-Gated Multinomial-Logistic Mixture of Experts Models [40.216463162163976]
我々は,ソフトマックスゲート型マルチミリ波観測用MoEのバッチ最小化最適化アルゴリズムを開発した。
また,条件密度推定とパラメータ回復のための有限サンプル率も証明した。
生物学的タンパク質-タンパク質相互作用予測実験は、完全なパイプラインを検証する。
論文 参考訳(メタデータ) (2026-02-08T14:45:41Z) - Symmetric Aggregation of Conformity Scores for Efficient Uncertainty Sets [6.673032375204486]
複数の予測器から非整合性スコアを集約する新しい手法であるSACP(Symmetric Aggregated Conformal Prediction)を提案する。
SACP はこれらのスコアを e-値に変換し、任意の対称アグリゲーション関数を用いてそれらを結合する。
我々はSACPが効率を継続的に改善し、しばしば最先端のモデルアグリゲーションベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2025-12-07T17:54:07Z) - The Tournament Tree Method for preference elicitation in Multi-criteria decision-making [8.06855767139412]
トーナメント・ツリー・メソッド(TTM)は、新しい評価フレームワークである。
提案手法は、設計による一貫性を確保し、認知的努力を最小限に抑え、嗜好モデリングの次元性を低下させる。
古典的なデック・オブ・カード法と互換性があり、間隔と比率のスケールを扱える。
論文 参考訳(メタデータ) (2025-10-09T13:24:32Z) - Singleton-Optimized Conformal Prediction [20.966568503308213]
コンフォーマル予測は、真の結果を所望の確率でカバーする単一の予測セットを構築するのに使うことができる。
あいまいさを最小化することを目的とした,新たな非指向スコアを提案する。
非整合集合を生成する平均確率。
論文 参考訳(メタデータ) (2025-09-28T22:20:40Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳(メタデータ) (2024-11-04T14:29:02Z) - LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。
このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
論文 参考訳(メタデータ) (2024-10-03T18:12:29Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳(メタデータ) (2022-07-02T16:59:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。