論文の概要: Evaluating Embedding Generalization: How LLMs, LoRA, and SLERP Shape Representational Geometry

• arxiv url: http://arxiv.org/abs/2511.21703v1
• Date: Sun, 16 Nov 2025 17:28:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-07 19:06:32.342828
• Title: Evaluating Embedding Generalization: How LLMs, LoRA, and SLERP Shape Representational Geometry
• Title（参考訳）: 埋め込み一般化の評価:LLM, LoRA, SLERP形状表現幾何学
• Authors: Siyaxolisa Kabane,
• Abstract要約: 本研究では,SLERPモデルがタスク固有適応によって導入された超特殊化を緩和する程度について検討する。 モデルの4つのファミリを比較する: ゼロから訓練された非LLMエンコーダ、パラメータ係数法(LoRA)に適応したLLMベースのエンコーダ、LoRAを用いたLLMベースのエンコーダ、ベースウェイトにマージしたモデルスープ、および同じLoRA適応LLMはチェックポイントやステージをまたいだSLERPを用いてマージされる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the generalization properties of dense text embeddings when the embedding backbone is a large language model (LLM) versus when it is a non-LLM encoder, and we study the extent to which spherical linear interpolation (SLERP) model-merging mitigates over-specialization introduced by task-specific adaptation (e.g., LoRA). To make the comparison concrete and domain-agnostic, we design a controlled suite of experiments in which models embed short numerical sequences and are evaluated on their ability to cluster and classify those sequences according to well-defined number-theoretic properties. Our experimental protocol compares four families of models: (1) non-LLM encoders trained from scratch or fine-tuned for embeddings, (2) LLM-based encoders adapted with parameter-efficient methods (LoRA), (3) LLM-based encoders with LoRA followed by model souping merging into the base weights, and (4) the same LoRA-adapted LLMs merged using SLERP across checkpoints or stages. We evaluate representational quality with clustering indices (Silhouette and Davies Bouldin). We additionally analyze the use of kmeans labels to see if the embeddings encode any other information besides the one we are testing for. Empirically, we find that LLM-based backbones produce embeddings that better capture higher-order, compositional numeric patterns, but are prone to adapter dominance that degrades balanced generalization; SLERP merging consistently recovers base-model structure while retaining most task gains, yielding superior tradeoffs in clustering separability, and robustness compared to model souping or models that were not merged.
• Abstract（参考訳）: 埋め込みバックボーンが大きな言語モデル(LLM)である場合と非LLMエンコーダである場合の高密度テキスト埋め込みの一般化特性について検討し、球状線形補間(SLERP)モデルがタスク固有の適応(例えばLoRA)によって導入された過特殊化を緩和する程度について検討する。 比較を具体的かつドメインに依存しないものにするため、モデルが短い数値列を埋め込んだ制御された実験スイートを設計し、それらの配列を適切に定義された数論的性質に基づいてクラスタ化・分類する能力について評価する。 実験プロトコルでは,(1)スクラッチからトレーニングした非LLMエンコーダ,(2)パラメータ係数法(LoRA)に適応したLLMエンコーダ,(3)LLMをベースウェイトにマージしたLoRAを用いたLLMエンコーダ,(4)同じLoRA適応LLMを,チェックポイントやステージをまたいだSLERPを用いてマージした4種類のモデルを比較した。 クラスタリング指標(Silhouette,Davies Bouldin)を用いて表現品質を評価する。 さらに、私たちがテストしているもの以外に、埋め込みが他の情報をエンコードしているかどうかを確認するために、kmeansラベルの使用も分析します。 実験により, LLMをベースとしたバックボーンは, 高次, 構成数値パターンの捕集性が向上するが, 適応優位性が低下し, バランスの取れた一般化が低下する傾向にあることがわかった。SLERPマージは, タスクゲインの維持とクラスタリング分離性の向上, マージしないモデルスープやモデルに比べて堅牢性の向上を図りながら, ベースモデル構造を継続的に回復する。

関連論文リスト

• Improving LLM-based Ontology Matching with fine-tuning on synthetic data [0.0]
  大規模言語モデル(LLM)は、オントロジーマッチングパイプラインの様々なコンポーネントに統合されつつある。 本稿では,LLMがオントロジーモジュール上で直接一致し,対応するアライメントを生成する能力について検討する。 専用の微調整戦略は、ゼロショット設定でモデルのマッチング性能を高めることができる。
  論文  参考訳（メタデータ） (2025-11-27T16:46:45Z)
• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Rational Tuning of LLM Cascades via Probabilistic Modeling [0.9208007322096532]
  大規模言語モデル(LLM)の連立性能分布の確率的モデルを提案する。 ベイズ最適化を用いた信頼しきい値の選択と比較すると、マルコフパラメトリックコプラモデルの方がエラーコストのトレードオフに有利である。 異なるLLMの誤差率間の相互作用に関する我々のフレームワークの帰納的仮定は、サンプル効率を高める。
  論文  参考訳（メタデータ） (2025-01-16T07:58:33Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。