論文の概要: Gamma Mixture Modeling for Cosine Similarity in Small Language Models

• arxiv url: http://arxiv.org/abs/2510.05309v1
• Date: Mon, 06 Oct 2025 19:20:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.9531
• Title: Gamma Mixture Modeling for Cosine Similarity in Small Language Models
• Title（参考訳）: 小言語モデルにおけるコサイン類似性のためのガンマ混合モデル
• Authors: Kevin Player,
• Abstract要約: 文変換器の埋め込みのコサイン類似性について検討し、ガンマ混合物でモデル化されていることを観察する。 固定コーパスから、すべてのドキュメント埋め込みと参照クエリ埋め込みの類似度を測定する。 本稿では,トピックの階層的クラスタリングが,類似度スコアのガンマ混合構造を自然に導くモデルを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study the cosine similarity of sentence transformer embeddings and observe that they are well modeled by gamma mixtures. From a fixed corpus, we measure similarities between all document embeddings and a reference query embedding. Empirically we find that these distributions are often well captured by a gamma distribution shifted and truncated to [-1,1], and in many cases, by a gamma mixture. We propose a heuristic model in which a hierarchical clustering of topics naturally leads to a gamma-mixture structure in the similarity scores. Finally, we outline an expectation-maximization algorithm for fitting shifted gamma mixtures, which provides a practical tool for modeling similarity distributions.
• Abstract（参考訳）: 文変換器の埋め込みのコサイン類似性について検討し、ガンマ混合物でモデル化されていることを観察する。 固定コーパスから、すべてのドキュメント埋め込みと参照クエリ埋め込みの類似度を測定する。 経験的に、これらの分布はガンマ分布によってよく捉えられ、[-1,1]に切り替わったり、多くの場合、ガンマ混合によって捕獲される。 本稿では,トピックの階層的クラスタリングが,類似度スコアのガンマ混合構造を自然に導くヒューリスティックモデルを提案する。 最後に、シフトガンマ混合体を適合させるための期待最大化アルゴリズムを概説し、類似性分布をモデル化するための実用的なツールを提供する。

関連論文リスト

• Variational Inference with Mixtures of Isotropic Gaussians [8.365869192421865]
  変分推論 (VI) はベイズ推定において一般的な手法であり、パラメトリック族内の後部分布の最適近似を求める。 我々は変分フレームワークを開発し、このファミリーに適した効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2025-06-16T15:42:15Z)
• Mixture models for data with unknown distributions [0.6345523830122168]
  実数値多変量データに対する混合モデルの幅広いクラスを記述・解析する。 データの分割と分布の推定の両方を返却し、クラスタリングと密度推定を各クラスタ内で同時に効果的に行う。 提案手法を図解的アプリケーション選択で実証し,両アルゴリズムをコードで実装する。
  論文  参考訳（メタデータ） (2025-02-26T22:42:40Z)
• Universal Lower Bounds and Optimal Rates: Achieving Minimax Clustering Error in Sub-Exponential Mixture Models [8.097200145973389]
  まず、混合モデルのクラスタリングにおける誤差率の普遍的な下限を確立する。 次に、この下界をサブ指数尾を持つ混合モデルで再現的アルゴリズムが達成できることを実証する。 ポアソンまたは負二項混合によりモデル化されたデータセットについて,指数族に属する混合モデルについて検討した。 このような混合では、ブロッグマンの発散を利用したロイドのアルゴリズムの変種であるブロッグマンのハードクラスタリングが最適であることを示す。
  論文  参考訳（メタデータ） (2024-02-23T16:51:17Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• Counting Like Human: Anthropoid Crowd Counting on Modeling the Similarity of Objects [92.80955339180119]
  メインストリームの群衆計数法は 密度マップを補強して 計数結果を得るために統合する。 これに触発された我々は,合理的かつ人為的な集団カウントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-02T07:00:53Z)
• Wrapped Distributions on homogeneous Riemannian manifolds [58.720142291102135]
  パラメータ、対称性、モダリティなどの分布の性質の制御は、フレキシブルな分布の族を生み出す。 変動型オートエンコーダと潜在空間ネットワークモデル内で提案した分布を利用して,我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2022-04-20T21:25:21Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• A similarity-based Bayesian mixture-of-experts model [0.5156484100374058]
  多変量回帰問題に対する新しい非パラメトリック混合実験モデルを提案する。 条件付きモデルを用いて、サンプル外入力の予測は、観測された各データポイントと類似性に基づいて行われる。 混合物のパラメータと距離測定値に基づいて後部推論を行う。
  論文  参考訳（メタデータ） (2020-12-03T18:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。