論文の概要: From Topic to Transition Structure: Unsupervised Concept Discovery at Corpus Scale via Predictive Associative Memory

• arxiv url: http://arxiv.org/abs/2603.18420v1
• Date: Thu, 19 Mar 2026 02:26:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.91958
• Title: From Topic to Transition Structure: Unsupervised Concept Discovery at Corpus Scale via Predictive Associative Memory
• Title（参考訳）: トピックからトランジション構造へ:予測連想記憶によるコーパススケールにおける教師なし概念発見
• Authors: Jason Dury,
• Abstract要約: 我々は、事前学習した埋め込みを、類似の遷移構造を持つ通路が一緒に集まる結合空間にマッピングする。 k=100のクラスタは平均4,508冊(9,766冊)で、コーパスワイドパターンを確認している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embedding models group text by semantic content, what text is about. We show that temporal co-occurrence within texts discovers a different kind of structure: recurrent transition-structure concepts or what text does. We train a 29.4M-parameter contrastive model on 373 million co-occurrence pairs from 9,766 Project Gutenberg texts (24.96 million passages), mapping pre-trained embeddings into an association space where passages with similar transition structure cluster together. Under capacity constraint (42.75% accuracy), the model must compress across recurring patterns rather than memorise individual co-occurrences. Clustering at six granularities (k=50 to k=2,000) produces a multi-resolution concept map; from broad modes like "direct confrontation" and "lyrical meditation" to precise registers and scene templates like "sailor dialect" and "courtroom cross-examination." At k=100, clusters average 4,508 books each (of 9,766), confirming corpus-wide patterns. Direct comparison with embedding-similarity clustering shows that raw embeddings group by topic while association-space clusters group by function, register, and literary tradition. Unseen novels are assigned to existing clusters without retraining; the association model concentrates each novel into a selective subset of coherent clusters, while raw embedding assignment saturates nearly all clusters. Validation controls address positional, length, and book-concentration confounds. The method extends Predictive Associative Memory (PAM, arXiv:2602.11322) from episodic recall to concept formation: where PAM recalls specific associations, multi-epoch contrastive training under compression extracts structural patterns that transfer to unseen texts, the same framework producing qualitatively different behaviour in a different regime.
• Abstract（参考訳）: セマンティックコンテンツによるグループテキストの埋め込みモデル。 テキスト内の時間的共起は、再帰的遷移構造概念やテキストが何をするかという、異なるタイプの構造を発見する。 我々は、9,766のプロジェクト・グーテンベルクのテキスト(24.96万節)から373万の共起ペアに対して、29.4Mパラメータの対照的なモデルをトレーニングし、事前訓練された埋め込みを、類似の遷移構造を持つ通路が集まっている結合空間にマッピングする。 キャパシティ制約(42.75%の精度)の下では、モデルは個々の共起を記憶するのではなく、繰り返し発生するパターンを圧縮しなければならない。 6つの粒度のクラスタリング(k=50からk=2000)は、"direct confrontation"や"lyrical meditation"のような幅広いモードから、正確なレジスタや、"sailor dialect"や" courtroom cross-examination"のようなシーンテンプレートまで、マルチレゾリューションの概念マップを生成する。 k=100のクラスタは平均4,508冊(9,766冊)で、コーパスワイドパターンを確認している。 埋め込み類似クラスタリングと直接比較すると、生埋め込みはトピックごとにグループ化され、関連空間クラスタは関数、レジスタ、文学的伝統によってグループ化される。 関連モデルは、各小説をコヒーレントクラスタの選択的サブセットに集約し、生の埋め込み割り当ては、ほぼすべてのクラスタを飽和させる。 バリデーションはアドレスの位置、長さ、および本に集中するコンファウンドを制御する。 この方法は、予測的連想記憶(PAM, arXiv:2602.11322)をエピソード的リコールから概念形成へと拡張し、PAMは特定の関連をリコールし、圧縮下でのマルチエポックなコントラストトレーニングは、未知のテキストに転送する構造パターンを抽出する。

関連論文リスト

• Cross-Layer Discrete Concept Discovery for Interpreting Language Models [13.842670153893977]
  クロス層VQ-VAEは、ベクトル量子化を使用して層間の表現をマッピングするフレームワークである。 本手法は,量子化中のトップk温度に基づくサンプリングとEMAコードブック更新を一意に組み合わせる。
  論文  参考訳（メタデータ） (2025-06-24T22:43:36Z)
• Self-supervised Latent Space Optimization with Nebula Variational Coding [87.20343320266215]
  本稿では,クラスタ化埋め込みに繋がる変分推論モデルを提案する。 textbfnebula anchorsと呼ばれる潜伏空間に新たな変数を導入し、トレーニング中に潜伏変数がクラスタを形成するように誘導する。 各潜在機能は最も近いアンカーでラベル付けできるため、クラスタ間の分離をより明確にするために、自己教師付き方法でメートル法学習を適用することも提案する。
  論文  参考訳（メタデータ） (2025-06-02T08:13:32Z)
• Memory-Efficient FastText: A Comprehensive Approach Using Double-Array Trie Structures and Mark-Compact Memory Management [0.0]
  FastTextは、単語表現を学習するための基本的なアルゴリズムとして自らを確立した。 しかし、ハッシュベースのバケット機構は、大規模産業展開に重大な制限をもたらす。 本稿では,FastTextのメモリ管理を再定義するメモリ最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-02T02:11:22Z)
• Hierarchical Level-Wise News Article Clustering via Multilingual Matryoshka Embeddings [5.161088104035108]
  本稿では,ニュース記事やソーシャルメディアデータをクラスタリングするための,新しい,スケーラブルで解釈可能な,階層的,多言語的なアプローチを提案する。 まず、さまざまなレベルの粒度でストーリーの類似性を決定するマルチリンガルなMatryoshka埋め込みを訓練する。 本研究では,Matryoshka埋め込みの階層性を活用し,ユニークなニュース,物語,テーマを識別する効率的な階層的クラスタリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-30T22:17:18Z)
• Preserving Modality Structure Improves Multi-Modal Learning [64.10085674834252]
  大規模マルチモーダルデータセットによる自己教師付き学習は、人間のアノテーションに頼ることなく、意味的に意味のある埋め込みを学ぶことができる。 これらの手法は、モダリティ固有の埋め込みに存在する意味構造を無視して、ドメイン外のデータをうまく一般化するのに苦労することが多い。 共同埋め込み空間におけるモダリティ特異的な関係を保ち, 一般化性を向上させるためのセマンティック・構造保存整合性アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T20:46:48Z)
• A Proposition-Level Clustering Approach for Multi-Document Summarization [82.4616498914049]
  クラスタリングアプローチを再検討し、より正確な情報アライメントの提案をグループ化します。 提案手法は,有意な命題を検出し,それらをパラフラスティックなクラスタに分類し,その命題を融合して各クラスタの代表文を生成する。 DUC 2004 とTAC 2011 データセットでは,従来の最先端 MDS 法よりも要約法が優れている。
  論文  参考訳（メタデータ） (2021-12-16T10:34:22Z)
• Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
  同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。 同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。 我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
  論文  参考訳（メタデータ） (2021-06-15T20:55:55Z)
• Nutribullets Hybrid: Multi-document Health Summarization [36.95954983680022]
  本稿では,入力文書の類似性と矛盾を強調する比較要約を生成する手法を提案する。 私たちのフレームワークは、より忠実で関連性があり、集約に敏感な要約につながります。
  論文  参考訳（メタデータ） (2021-04-08T01:44:29Z)
• A Framework for Authorial Clustering of Shorter Texts in Latent Semantic Spaces [4.18804572788063]
  著者クラスタリングは、著者の執筆スタイルや主題的好みの事前の肯定的な例のない、同一の著者または著者のチームによって書かれた文書をグループ化する。 非パラメトリックなトピックモデリングから導出した潜在特徴空間におけるコンパクトなデータ表現を利用する高レベルフレームワークを提案する。 3つの言語と2つのジャンルで120個のコレクションを実験し、トピックベースの潜在機能空間が有望なパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2020-11-30T17:39:44Z)
• Relation Clustering in Narrative Knowledge Graphs [71.98234178455398]
  原文内の関係文は(SBERTと)埋め込み、意味論的に類似した関係をまとめるためにクラスタ化される。 予備的なテストでは、そのようなクラスタリングが類似した関係を検知し、半教師付きアプローチのための貴重な前処理を提供することが示されている。
  論文  参考訳（メタデータ） (2020-11-27T10:43:04Z)
• LSD-C: Linearly Separable Deep Clusters [145.89790963544314]
  ラベルなしデータセットのクラスタを識別する新しい手法であるLSD-Cを提案する。 本手法は,最近の半教師付き学習の実践からインスピレーションを得て,クラスタリングアルゴリズムと自己教師付き事前学習と強力なデータ拡張を組み合わせることを提案する。 CIFAR 10/100, STL 10, MNIST, および文書分類データセットReuters 10Kなど, 一般的な公開画像ベンチマークにおいて, 当社のアプローチが競合より大幅に優れていたことを示す。
  論文  参考訳（メタデータ） (2020-06-17T17:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。