論文の概要: To Align or Not To Align: Check Your COMPASS Before You Train
- arxiv url: http://arxiv.org/abs/2610.18638v1
- Date: Tue, 13 Oct 2026 16:09:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.677632
- Title: To Align or Not To Align: Check Your COMPASS Before You Train
- Title（参考訳）: CONDE NAST JAPAN All Rights Reserved.CompASSをトレーニング前にチェックする
- Abstract要約: モデルペアがアライメントやマージの前に互換性があるかどうかを推定する診断法を提案する。
クロスモーダルアライメント実験を72ドル、タスクパラメータモデルマージを392ドルに適用する。
- 参考スコア（独自算出の注目度）: 1.7353792495995881
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Combining pretrained models is a common strategy for building AI systems, whether by aligning a vision encoder with a language model or merging fine-tuned checkpoints. However, finding compatible pairs typically requires costly empirical search, as compatibility is known only after alignment or merging. We propose COMPASS (COMPatibility ASsessment Score), a theoretically motivated diagnostic that estimates whether a model pair will be compatible prior to alignment or merging. Building on the observation that representational convergence is most robust at the level of local neighborhoods, COMPASS decomposes model compatibility into two cheap-to-compute axes: a pair-specific ease, defined as the $k$-NN overlap between the two encoders, and a paradigm-level ceiling, capturing the maximum overlap their training paradigms allow. Together, these two axes provide a ranking of candidate model pairs and prescribe how to act on each pair: (i) prioritize pairs that already agree and whose paradigms are compatible, (ii) invest additional compute on pairs with compatible paradigms but low initial agreement, (iii) switch the pretraining paradigm when it cannot support sufficient agreement, or (iv) deprioritize pairs that score poorly on both axes. We apply COMPASS to $72$ cross-modal alignment experiments and $392$ task-arithmetic model merges and show that compatibility estimates by COMPASS strongly correlate with downstream success, achieving average Pearson correlation of $0.91$ on cross-modal alignment tasks and $0.70$ on model merging.
- Abstract（参考訳）: 事前訓練されたモデルを組み合わせることは、ビジョンエンコーダを言語モデルと整列させたり、微調整されたチェックポイントをマージすることによって、AIシステムを構築する一般的な戦略である。
しかし、互換性のあるペアを見つけるには、アライメントやマージ後にのみ互換性が知られているため、通常、コストのかかる経験的な探索が必要となる。
CompASS(COMPatibility Assessment Score)は,モデルペアがアライメントやマージに先立って互換性があるかどうかを推定する理論的動機付き診断法である。
表現収束が最も堅牢であるという観察に基づいて、CompASSはモデルの互換性を2つの安価で計算可能な軸に分解する: 2つのエンコーダ間の$k$-NNの重なりとして定義されるペア固有の容易さと、トレーニングパラダイムが許容する最大重複をキャプチャするパラダイムレベルの天井である。
これら2つの軸は、候補モデルペアのランキングを提供し、それぞれのペアにどのように振る舞うかを規定する。
(i)すでに一致しており、そのパラダイムが互換性のあるペアを優先すること。
(ii)互換性のあるパラダイムを持つペアに追加の計算を投資するが、初期合意は低い。
三 十分な協定を履行できないときは、予習パラダイムを切り替える。
(4)両軸のスコアが低いペアを優先順位付けする。
クロスモーダルアライメント実験と392ドルのタスク-アライメントモデルマージにCompASSを適用し,CompASSによる整合性推定が下流の成功と強く相関し,クロスモーダルアライメントタスクの平均Pearson相関が0.91ドル,モデルマージで0.70ドルとなることを示す。
関連論文リスト
- SQUARE: Structured Quantum Representation Adapters as Compact Quadratic Feature Maps for Frozen Language Models [50.300302932452006]
凍結言語モデル(LM)は、下流の再ランク付け、スコアリング、嗜好モデリングのための固定された特徴抽出器として、ますます使われている。
本稿では、ボトルネックベクトルを振幅符号化し、パラメータ化量子回路を適用し、その結果の状態を測定する構造量子表現アダプタを提案する。
各基底確率関数は、ちょうどボトルネック座標における正規化された二次形式であり、追加のPauli$Z$読み出しはそれらの確率の線形結合であることを示す。
論文 参考訳（メタデータ） (2026-09-29T09:38:29Z) - ZO-COSMO: Index-Free One-Hop Mixing for Decentralized Zeroth-Order Optimization [8.805992680570933]
平均保存マスクコンセンサスと2クエリ推定を結合したtextsfZO-COSMO を開発した。
グローバルサポートは、すべての隣のミキシングを提供し、一致した更新は、各ペア内でのみ合意を必要とする。
一致するクラス内のスカラー毎の鋭い収縮境界と、コアおよびスパースモーメント更新の収束保証を導出する。
論文 参考訳（メタデータ） (2026-09-23T01:05:56Z) - Collective Alignment in LLM Multi-Agent Systems: Disentangling Bias from Cooperation via Statistical Physics [0.0]
そこで,本研究では,本態性バイアスから社会的整合性を解き,臨界指数を計算し,マルチエージェントシステムの集合的挙動と相転移を探索するモデルに依存しない統計的物理法を提案する。
集合的アライメントは、協調的な隣り合う結合よりも本質的なバイアスによって支配され、真の相転移の代わりに場駆動のクロスオーバーを生成する。
論文 参考訳（メタデータ） (2026-05-11T13:13:44Z) - $V_1$: Unifying Generation and Self-Verification for Parallel Reasoners [69.66089681814013]
$V_$は、効率的なペアワイドランキングを通じて生成と検証を統合するフレームワークである。
V_$-Inferはポイントワイド検証でPass@1を最大10%改善する。
V_$-PairRLは、標準のRLとポイントワイドのジョイントトレーニングよりも、テストタイムのスケーリングが7ドル--9%で向上する。
論文 参考訳（メタデータ） (2026-03-04T17:22:16Z) - Beyond Accuracy: A Unified Random Matrix Theory Diagnostic Framework for Crash Classification Models [6.908972852063454]
ランダム行列理論(RMT)とヘビープレート自己正規化(HTSR)に基づく診断枠組みを導入する。
アイオワDOTの2つのクラッシュ分類タスク(173,512,371,062)において,9つのモデルファミリーを評価した。
正規化されたモデルは常に$[2, 4]$(平均2.87 pm 0.34$)内で$を出力します。
我々は、$$ベースの早期停止基準とスペクトルモデル選択プロトコルを提案し、両者が相互検証されたFに対して検証する。
論文 参考訳（メタデータ） (2026-02-23T05:42:54Z) - The Tournament Tree Method for preference elicitation in Multi-criteria decision-making [8.06855767139412]
トーナメント・ツリー・メソッド(TTM)は、新しい評価フレームワークである。
提案手法は、設計による一貫性を確保し、認知的努力を最小限に抑え、嗜好モデリングの次元性を低下させる。
古典的なデック・オブ・カード法と互換性があり、間隔と比率のスケールを扱える。
論文 参考訳（メタデータ） (2025-10-09T13:24:32Z) - Reliability, Embeddedness, and Agency: A Utility-Driven Mathematical Framework for Agent-Centric AI Adoption [0.0]
我々は,マルチステップタスクを実行するエージェント中心のAIシステムの採用を継続するための3つの公理を定式化する。
我々は、崩壊するノベルティ用語と成長するユーティリティ用語の和として、採用をモデル化する。
論文 参考訳（メタデータ） (2025-08-18T12:53:38Z) - Multi-Level Collaboration in Model Merging [56.31088116526825]
本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。
これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
論文 参考訳（メタデータ） (2025-03-03T07:45:04Z) - MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。
MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。
また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
論文 参考訳（メタデータ） (2024-06-11T17:55:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。