論文の概要: Peeling the Matryoshka: Extracting Ontological Structure from Retrieval Embeddings
- arxiv url: http://arxiv.org/abs/2610.41785v1
- Date: Fri, 30 Oct 2026 14:19:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.766792
- Title: Peeling the Matryoshka: Extracting Ontological Structure from Retrieval Embeddings
- Title（参考訳）: マトリオシカの熟成--レトリーバルエンベディングからオントロジー構造を抽出する
- Abstract要約: Matryoshka Learningの埋め込みは、先頭の接頭辞を金の粗粒度と整列させる; シャッフルと逆次元の制御は、学習した初期接頭辞次元へのアライメントを分離する。
PEELは2つのOLLMベンチマークで高い構造的忠実度を持つ分類学的DAGを復元し、ターゲットエッジの監視のない新しいドメインに転送することを示した。
文書コーパスから概念を発見し,構造を誘導するエンドツーエンドのOLLMパイプラインは,クロスタスク参照として報告されている。
- 参考スコア（独自算出の注目度）: 0.5156484100374058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Taxonomy construction is essential for knowledge-intensive NLP yet remains costly: clustering-based methods (i) need careful per-corpus tuning and yield unstable hierarchies, while LLM-based pipelines (ii) depend on expensive task-specific training that does not transfer across domains. We report an empirical finding that bears on both: in Matryoshka Representation Learning (MRL) embeddings, where each leading prefix is itself a usable, coarser vector, prefix length aligns with the coarse-to-fine granularity of gold taxonomies; shuffled- and reverse-dimension controls isolate the alignment to the learned early prefix dimensions. The pattern holds across three architecturally distinct MRL models. To test whether this regularity is usable, we introduce PEEL (Peeling Embeddings to Extract Latent ontologies): a minimal probe over these frozen embeddings, trained once with an order-embedding objective that represents hierarchy as vector containment; a minimum spanning arborescence then decodes taxonomic DAGs. Using only a concept vocabulary (no documents), PEEL recovers taxonomic DAGs with high structural fidelity on two OLLM benchmarks, transferring to a new domain with no target-edge supervision. The end-to-end OLLM pipeline, which jointly discovers concepts and induces structure from document corpora, is reported as a cross-task reference. Pre-trained retrieval embeddings encode a decodable granularity gradient; a minimal probe renders it as explicit parent-child (is-a) structure.
- Abstract（参考訳）: 分類学の構築は知識集約型NLPには不可欠だが費用がかかる:クラスタリングに基づく手法
(i)企業毎の注意深いチューニングと不安定な階層の獲得、一方LLMベースのパイプライン
(ii)ドメイン間を移動しない高価なタスク特化トレーニングに依存する。
本報告では,Matryoshka Representation Learning (MRL) の埋め込みにおいて,各接頭辞がそれ自体が有用で粗いベクトルであり,接頭辞の長さが金の粒度の粗い粒度と一致していることを示す。
このパターンは、3つのアーキテクチャ的に異なるMRLモデルにまたがる。
PEEL (Peeling Embeddings to Extract Latent Ontologies) では, 階層構造をベクトル包摂として表す順序埋め込み目的を一度トレーニングし, 分類学的DAGをデコードする。
PEELは概念語彙(文書なし)のみを用いて、2つのOLLMベンチマークで高い構造的忠実度を持つ分類学的DAGを復元し、ターゲットエッジの監督なしに新しいドメインに転送する。
文書コーパスから概念を発見し,構造を誘導するエンドツーエンドのOLLMパイプラインは,クロスタスク参照として報告されている。
事前訓練された検索埋め込みは、分解可能な粒度勾配を符号化し、最小限のプローブは、それを明示的な親子(is-a)構造として描画する。
関連論文リスト
- NEST: Nested Embedding Representation for Multiscale Clustering [9.21246966564845]
NESTは、単一の埋め込み内で粗大な構造をエンコードする、教師なしのフレームワークである。
合成階層上では、NESTはレベル毎のクラスタ数のみを考慮し、マルチスケール構造を復元する。
論文 参考訳（メタデータ） (2026-10-21T22:58:36Z) - SPARROW: Scalable Taxonomy Induction via Structure-Preserving Partitioning and Constraint-Guided Merging [16.319023057139173]
最近の手法は、コーパスの必要を回避して、フラットな用語リストから直接インジェクションすることができるが、概念セットのスケールアップに伴って急激に劣化する。
SPARROWは,各ブロック内の階層的接続性を維持するために,構造保存されたスペクトル分割を組み合わせたスケーラブルな分類誘導フレームワークである。
大規模なベンチマーク実験により、SPARROWはバックボーン全体で最強のグローバルな構造的品質を一貫して達成していることが示された。
論文 参考訳（メタデータ） (2026-09-07T10:23:09Z) - SproutRAG: Attention-Guided Tree Search with Progressive Embeddings for Long-Document RAG [23.48941508046885]
本稿では,注意誘導型階層型RAGフレームワークであるSproutRAGを紹介する。
文レベルのチャンクを徐々に大きく、意味的に一貫性のある単位に整理する。
どのアテンションヘッドとレイヤがセマンティックドキュメント構造を最もよく捉えているかを学ぶ。
論文 参考訳（メタデータ） (2026-06-16T18:28:00Z) - Online Continual Learning with Dynamic Label Hierarchies [72.33335166136045]
粒度をまたいで重大度が進化する新しい問題設定であるDHOCLを導入し,各サンプルは単一階層レベルでの監視を行う。
i) 混合粒度の部分的監視は、塑性を制約し、階層間のセマンティック一貫性を損なう、進化するパスワイド階層上のポイントワイド信号のみを提供する。
本稿では,相補的分類を適応的に組み合わせ,学習可能な階層型プロトタイプによって正規化し,素早い適応,階層的整合性,構造的知識の統合を可能にするHALOを提案する。
論文 参考訳（メタデータ） (2026-05-12T08:20:23Z) - Retrieval-Conditioned Topology Selection with Provable Budget Conservation for Multi-Agent Code Generation [0.0]
Retrieval-Guided Adaptive Orchestration (RGAO) は階層コードインデックスから構造複雑性ベクトルを抽出してループを閉じるアーキテクチャである。
RGAOは、サブエージェントが6次元の予算ベクトルによる正式な契約によって管理されるマルチエージェントフレームワークであるCode-Agent内で動作する。
論文 参考訳（メタデータ） (2026-05-07T04:18:53Z) - HCRE: LLM-based Hierarchical Classification for Cross-Document Relation Extraction with a Prediction-then-Verification Strategy [54.91468501159335]
文書間関係抽出 (RE) は, 異なる文書に存在する頭部尾部エンティティ間の関係を識別することを目的としている。
本稿では,各レベルでの多視点検証により信頼性を向上させる推論戦略を提案する。
論文 参考訳（メタデータ） (2026-04-09T07:55:27Z) - LLM-guided Hierarchical Retrieval [54.73080745446999]
LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。
LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。
我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
論文 参考訳（メタデータ） (2025-10-15T07:05:17Z) - A Tale of LLMs and Induced Small Proxies: Scalable Agents for Knowledge Mining [52.57170634957137]
Falconerは、大規模言語モデルとスケーラブルな知識マイニングのための軽量プロキシモデルを組み合わせたフレームワークである。
LLMはプランナーとして機能し、ユーザ命令を実行可能なパイプラインに分解し、アノテータとして、小さなプロキシをトレーニングするための監督を生成する。
実験の結果、Falconerは命令追従精度で最先端のLCMと密に一致し、推論コストを最大90%削減した。
論文 参考訳（メタデータ） (2025-10-01T20:06:48Z) - Provable Hierarchy-Based Meta-Reinforcement Learning [50.17896588738377]
HRLをメタRL設定で解析し、下流タスクで使用するメタトレーニング中に学習者が潜在階層構造を学習する。
我々は、この自然階層の標本効率の回復を保証し、抽出可能な楽観主義に基づくアルゴリズムとともに「多様性条件」を提供する。
我々の境界は、時間的・状態的・行動的抽象化などのHRL文献に共通する概念を取り入れており、我々の設定と分析が実際にHRLの重要な特徴を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-10-18T17:56:02Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。