論文の概要: LOCUS: Low-Dimensional Model Embeddings for Efficient Model Exploration, Comparison, and Selection

• arxiv url: http://arxiv.org/abs/2601.21082v1
• Date: Wed, 28 Jan 2026 22:09:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.457803
• Title: LOCUS: Low-Dimensional Model Embeddings for Efficient Model Exploration, Comparison, and Selection
• Title（参考訳）: LOCUS: 効率的なモデル探索, 比較, 選択のための低次元モデル埋め込み
• Authors: Shivam Patel, William Cocke, Gauri Joshi,
• Abstract要約: LOCUSは,クエリ間の言語モデルの性能をコンパクトに表現する低次元ベクトル埋め込みを生成する手法である。 LOCUSは、クエリエンコーディングと評価スコアをエンコーダモデルを介して決定論的フォワードパスによって埋め込みを生成するアテンションベースのアプローチである。 我々は、モデル埋め込みとクエリエンコーディングを使用して、未知のクエリに対して最先端のルーティング精度を実現する正当性予測器を訓練する。
• 参考スコア（独自算出の注目度）: 15.182368486530128
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The rapidly growing ecosystem of Large Language Models (LLMs) makes it increasingly challenging to manage and utilize the vast and dynamic pool of models effectively. We propose LOCUS, a method that produces low-dimensional vector embeddings that compactly represent a language model's capabilities across queries. LOCUS is an attention-based approach that generates embeddings by a deterministic forward pass over query encodings and evaluation scores via an encoder model, enabling seamless incorporation of new models to the pool and refinement of existing model embeddings without having to perform any retraining. We additionally train a correctness predictor that uses model embeddings and query encodings to achieve state-of-the-art routing accuracy on unseen queries. Experiments show that LOCUS needs up to 4.8x fewer query evaluation samples than baselines to produce informative and robust embeddings. Moreover, the learned embedding space is geometrically meaningful: proximity reflects model similarity, enabling a range of downstream applications including model comparison and clustering, model portfolio selection, and resilient proxies of unavailable models.
• Abstract（参考訳）: 急速に成長するLarge Language Models (LLMs) のエコシステムは、巨大で動的なモデルのプールを効果的に管理し、利用することの難しさを増している。 LOCUSは,クエリ間の言語モデルの性能をコンパクトに表現する低次元ベクトル埋め込みを生成する手法である。 LOCUSは、クエリエンコーディングと評価スコアをエンコーダモデルを介して決定論的前方通過によって埋め込みを生成する、注意に基づくアプローチである。 さらに、モデル埋め込みとクエリエンコーディングを使用して、未知のクエリに対して最先端のルーティング精度を実現する正当性予測器を訓練する。 実験の結果、LOCUSは情報的かつ堅牢な埋め込みを生成するために、ベースラインよりも最大4.8倍のクエリ評価サンプルを必要とすることがわかった。 さらに、学習された埋め込み空間は幾何学的に意味があり、近接はモデル類似性を反映し、モデルの比較とクラスタリング、モデルポートフォリオの選択、不利用可能なモデルの弾力性プロキシを含む下流アプリケーションの範囲を可能にします。

関連論文リスト

• HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
  HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。 作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
  論文  参考訳（メタデータ） (2025-11-24T03:13:45Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• CP-Bench: Evaluating Large Language Models for Constraint Modelling [6.250460397062786]
  制約プログラミング(CP)は、問題を解くために広く使われているが、その中核となるプロセス、すなわち制約モデリングは、かなりの専門知識を必要とし、広く採用される際のボトルネックと考えられている。 近年,問題記述を実行可能な制約モデルに変換するために,Large Language Models (LLMs) を用いて検討されている。 制約モデリングのための既存の評価データセットは、しばしば、現実のシナリオの多様性を捉えない、小さく、均一で、ドメイン固有のインスタンスに限られる。 この研究はCP-Benchの導入によってこのギャップに対処する。CPコミュニティから得られた様々な既知の問題を含む新しいベンチマークであるCP-Benchは構造化されている。
  論文  参考訳（メタデータ） (2025-06-06T12:56:02Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• Exploring Query Efficient Data Generation towards Data-free Model Stealing in Hard Label Setting [38.755154033324374]
  データフリーモデルは、ターゲットモデルの構造、パラメータ、トレーニングデータにアクセスすることなく、ターゲットモデルの機能を代替モデルに複製する。 本稿では Query Efficient Data Generation (textbfQEDG) と呼ばれる新しいデータフリーモデルステーリング手法を提案する。 対象モデルの決定境界に密接に一様に整合する十分なサンプルの生成を保証するために、2つの異なる損失関数を導入する。
  論文  参考訳（メタデータ） (2024-12-18T03:03:15Z)
• Exploring Model Kinship for Merging Large Language Models [73.98345036483299]
  我々は, モデル進化を反復的融合を通じて研究し, 生物進化の類似性について考察した。 モデル親和性はマージによって達成された性能改善と密接に関連していることを示す。 本稿では,新しいモデル統合戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• Earning Extra Performance from Restrictive Feedbacks [41.05874087063763]
  モデルチューニング問題の形式を記述するために,rerestriCTive feeddbacks (EXPECTED) から emphEarning eXtra PerformancE という課題を設定した。 モデルプロバイダの目標は、最終的にフィードバックを利用することで、ローカルユーザに対して満足のいくモデルを提供することです。 本稿では,パラメータ分布を探索し,モデルパラメータに関するモデル性能の幾何を特徴付けることを提案する。
  論文  参考訳（メタデータ） (2023-04-28T13:16:54Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。