論文の概要: Cluster Validation Indices as Self-Supervised Objectives for Text Representation Learning

• arxiv url: http://arxiv.org/abs/2610.04830v1
• Date: Sun, 04 Oct 2026 00:32:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 08:34:07.831372
• Title: Cluster Validation Indices as Self-Supervised Objectives for Text Representation Learning
• Title（参考訳）: テキスト表現学習のための自己監督対象としてのクラスタ検証指標
• Abstract要約: Silhouette-guided K-means(Silhouette-guided K-means)を導入し、ラベルを使わずにクラスタ品質を内部で測定するクラスタ検証指標をトレーニングする。 BERTベースでは、SilKは評価した最速のベースラインよりも1時間あたり1.46倍高速で、最もリーンなベースラインよりもピークのGPUメモリが45.4%少ない。
• 参考スコア（独自算出の注目度）: 25.94525183402597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised fine-tuning refines the embedding space of a pretrained language encoder without labels. However, the commonly used approaches are computationally expensive. Specifically, contrastive learning-based methods need multiview data and in-batch negative examples, while negative-free approaches require auxiliary graphs/networks. An interesting question arises: can self-supervised fine-tuning be done without relying on either additional negatives or graph data? To answer this question, we introduce SilK (Silhouette-guided K-means), which trains on a Cluster Validation Index, an internal measure of cluster quality without using labels. SilK clusters the corpus and then regresses a simplified silhouette toward a target value. Each document is compared only against the k cluster centroids, never against other documents, so the method needs no augmentation, no negative pairs and one view per document. On BERT-base, SilK trains 1.46x faster per epoch than the fastest baseline we evaluate and uses 45.4% less peak GPU memory than the leanest one. Under frozen-encoder linear probing, SilK stays competitive with the best baselines on three downstream tasks.
• Abstract（参考訳）: 自己教師型微調整はラベルのない事前訓練された言語エンコーダの埋め込み空間を洗練させる。 しかし、一般的に使われているアプローチは計算コストが高い。 特に、対照的な学習ベースの手法はマルチビューデータとバッチ内のネガティブな例を必要とし、一方、ネガティブなアプローチは補助グラフ/ネットワークを必要とする。 追加の負のデータやグラフデータに頼ることなく、自己教師型微調整ができるのか? この質問に答えるために、ラベルを使わずにクラスタ品質を内部で測定するクラスタ検証指標(Cluster Validation Index)をトレーニングするSilK(Silhouette-guided K-means)を導入する。 SilKはコーパスをクラスタリングし、単純化されたシルエットを目標値に回帰する。 各ドキュメントは、kクラスタのセントロイドに対してのみ比較され、他のドキュメントに対して比較されることはない。 BERTベースでは、SilKは評価した最速のベースラインよりも1時間あたり1.46倍高速で、最もリーンなベースラインよりもピークのGPUメモリが45.4%少ない。 凍結エンコーダリニアプローブの下では、SilKは3つの下流タスクで最高のベースラインと競合する。

関連論文リスト

• THESAURUS: Contrastive Graph Clustering by Swapping Fused Gromov-Wasserstein Couplings [9.805171821491207]
  We present conTrastive grapH clustEring by SwApping fUsed gRomov-wasserstein couplingS (THESAURUS) 本手法では,コンテキスト情報を提供するためのセマンティックプロトタイプを導入し,クロスビュー代入予測プレテキストタスクを採用する。 これはGromov-Wasserstein Optimal Transport (GW-OT) と提案したプロトタイプグラフを利用して、グラフ構造のクラスタ情報を徹底的に活用する。
  論文  参考訳（メタデータ） (2024-12-16T08:33:56Z)
• ABCDE: Application-Based Cluster Diff Evals [49.1574468325115]
  それは実用性を目指しており、アイテムはアプリケーション固有の重要な値を持つことができ、クラスタリングがどちらが優れているかを判断するときに人間の判断を使うのは粗悪であり、アイテムの任意のスライスのためのメトリクスを報告できる。 クラスタリング品質の差分を測定するアプローチは、高価な地平を前もって構築し、それに関して各クラスタリングを評価する代わりに、ABCDEはクラスタリング間の実際の差分に基づいて、判定のための質問をサンプリングする。
  論文  参考訳（メタデータ） (2024-07-31T08:29:35Z)
• African or European Swallow? Benchmarking Large Vision-Language Models for Fine-Grained Object Classification [53.89380284760555]
  textttFOCI (textbfFine-fine textbfObject textbfClasstextbfIfication) は、きめ細かいオブジェクト分類のための難しい多重選択ベンチマークである。 textttFOCIxspaceは、ImageNet-21kから4つのドメイン固有のサブセットで5つの一般的な分類データセットを補完する。
  論文  参考訳（メタデータ） (2024-06-20T16:59:39Z)
• Gödel Number based Clustering Algorithm with Decimal First Degree Cellular Automata [0.0]
  本稿では,FDCAに基づくクラスタリングアルゴリズムを提案する。 データオブジェクトは、G"odel番号ベースのエンコーディングを使用して十進文字列にエンコードされる。 既存のクラスタリングアルゴリズムと比較して,提案アルゴリズムは性能が向上する。
  論文  参考訳（メタデータ） (2024-05-08T08:30:34Z)
• End-to-end Learnable Clustering for Intent Learning in Recommendation [54.157784572994316]
  我々は、アンダーラインELCRecと呼ばれる新しい意図学習手法を提案する。 振る舞い表現学習をUnderlineEnd-to-end UnderlineLearnable UnderlineClusteringフレームワークに統合する。 1億3000万ページビューの産業レコメンデーションシステムに本手法をデプロイし,有望な結果を得る。
  論文  参考訳（メタデータ） (2024-01-11T15:22:55Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• CARL-G: Clustering-Accelerated Representation Learning on Graphs [18.763104937800215]
  本稿では,クラスタ検証指標(CVI)にインスパイアされた損失を利用したグラフ表現学習のための新しいクラスタリングベースのフレームワークを提案する。 CARL-Gはクラスタリング法やCVIに適応し,クラスタリング法とCVIの適切な選択により,CARL-Gは4/5データセットのノード分類ベースラインを最大79倍のトレーニングスピードアップで上回ることを示す。
  論文  参考訳（メタデータ） (2023-06-12T08:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。