論文の概要: Hierarchical Token Merging with Recursive Autoencoders for Unsupervised Grammar Induction
- arxiv url: http://arxiv.org/abs/2610.26695v1
- Date: Mon, 19 Oct 2026 16:35:46 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:10:34.553828
- Title: Hierarchical Token Merging with Recursive Autoencoders for Unsupervised Grammar Induction
- Title（参考訳）: 教師なし文法誘導のための再帰オートエンコーダを用いた階層型トークンマージ
- Abstract要約: 圧縮のみから有意義な階層構造が出現するかどうかを考察する。
本稿では,隣接するトークンを抽象表現に組み合わせた階層型トークンマージオートエンコーダを提案する。
合成的、曖昧な文法の実験は、構造的な監督なしに意味のある階層構造が出現することを示す。
- 参考スコア（独自算出の注目度）: 0.8594140167290095
- License:
- Abstract: Hierarchical abstraction is a fundamental principle across many data modalities, enabling complex sequences to be represented compositionally at multiple levels. Learning such hierarchies directly from data, without explicit structural supervision, remains a central challenge in representation learning. We investigate whether meaningful hierarchical structure can emerge from compression alone. While autoencoders learn compressed representations through reconstruction, this objective does not necessarily favour meaningful compositional structure. We study this challenge through unsupervised grammar induction, where the underlying hierarchy can be evaluated explicitly. We introduce a hierarchical token-merging autoencoder that recursively combines adjacent tokens into increasingly abstract representations, compressing entire sequences through a variational information bottleneck. The model jointly learns representations and hierarchical structure by marginalising over possible binary trees using dynamic programming. To address training instability, we combine independently trained models through unsupervised consensus and distillation. Experiments on a synthetic, ambiguous grammar demonstrate the emergence of meaningful hierarchical structure without structural supervision. The resulting model achieves 93% grammatical parse-validity and 93% exact reconstruction on held-out sequences, compared with 42% parse-validity for the strongest trivial baseline. These findings establish a proof of concept for hierarchical token merging as a mechanism for unsupervised structure discovery and abstraction learning.
- Abstract（参考訳）: 階層的抽象化は多くのデータモダリティの基本的な原理であり、複雑なシーケンスを複数のレベルで合成的に表現することができる。
このような階層を直接データから学ぶことは、明示的な構造的な監督なしに、表現学習における中心的な課題である。
圧縮のみから有意義な階層構造が出現するかどうかを考察する。
オートエンコーダは再構成によって圧縮表現を学習するが、この目的は必ずしも意味のある構成構造を好まない。
この課題を教師なし文法帰納法を用いて検討し、基礎となる階層を明示的に評価する。
本稿では,隣接するトークンをより抽象的な表現に再帰的に組み合わせた階層型トークンマージオートエンコーダを提案する。
このモデルは動的プログラミングを用いて、可能な二分木を割って表現と階層構造を共同で学習する。
トレーニングの不安定性に対処するために、教師なしのコンセンサスと蒸留を通して、独立して訓練されたモデルを組み合わせる。
合成的、曖昧な文法の実験は、構造的な監督なしに意味のある階層構造が出現することを示す。
その結果,最強自明なベースラインに対して,93%の文法的パース値,93%の正確な保持配列の再構成が得られた。
これらの知見は、教師なし構造発見と抽象学習のメカニズムとして階層的トークンマージの概念実証を確立した。
関連論文リスト
- A Multi-Stage Rule-Chaining Framework for Compositional and Interpretable Cognitive Reasoning [0.0]
本稿では,記号的,構造的,概念的レベルで構成的推論を行う多段階ルールチェインフレームワークを提案する。
提案したアーキテクチャは、シンボリック推論と合成パターンをブリッジし、認知一般化に関する解釈可能な洞察を提供する。
論文 参考訳（メタデータ） (2026-09-09T15:24:42Z) - Sentence Splitter: Uncovering Latent Factual Structure for Self-Supervised Learning [0.0]
Sentence SplitterはT5ベースのエンコーダ-デコーダアーキテクチャ上に構築された自己教師型フレームワークである。
提案手法は,プレフィックス(頭)と実際の完了(尾)のセマンティック境界を同定する。
構造化テキストと自然発生テキストの両方の実験では、提案されたスプリッターが合成テンプレートを超えて一般化されることが示されている。
論文 参考訳（メタデータ） (2026-07-22T07:30:39Z) - Provable Learning of Random Hierarchy Models and Hierarchical Shallow-to-Deep Chaining [58.69016084278948]
我々は、arXiv:2307.02129によって導入された階層的な文脈自由文法を考察し、深層ネットワークと浅層ネットワークの分離を予想する。
弱い条件下では、深い畳み込みネットワークを効率的に訓練し、この関数クラスを学習できることを証明した。
論文 参考訳（メタデータ） (2026-01-27T16:19:54Z) - Learning Structured Representations with Hyperbolic Embeddings [22.95613852886361]
ラベル階層を学習表現に正確に埋め込むハイパーボリック構造正規化手法HypStructureを提案する。
いくつかの大規模ビジョンベンチマークの実験では、歪みを低減するためのHypStructureの有効性が示されている。
構造化された表現をよりよく理解するために、表現幾何学と改善されたout-of-Distribution(OOD)検出性能をリンクする固有値解析を行う。
論文 参考訳（メタデータ） (2024-12-02T00:56:44Z) - Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers [74.96551626420188]
自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。
本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
論文 参考訳（メタデータ） (2024-04-25T07:10:29Z) - Implant Global and Local Hierarchy Information to Sequence based Code
Representation Models [25.776540440893257]
完全な階層構造がコードシーケンスのトークンに与える影響を分析し、階層埋め込みと呼ばれるコードトークンの特性として、この影響を抽象化する。
ソースコードの完全な階層化をトランスフォーマーモデルに組み込むための,単純かつ効果的なシーケンスモデルである階層変換器(HiT)を提案する。
論文 参考訳（メタデータ） (2023-03-14T12:01:39Z) - Use All The Labels: A Hierarchical Multi-Label Contrastive Learning
Framework [75.79736930414715]
本稿では,すべての利用可能なラベルを活用でき,クラス間の階層的関係を維持できる階層型多言語表現学習フレームワークを提案する。
比較損失に階層的ペナルティを併用し,その階層的制約を強制する。
論文 参考訳（メタデータ） (2022-04-27T21:41:44Z) - Inducing Transformer's Compositional Generalization Ability via
Auxiliary Sequence Prediction Tasks [86.10875837475783]
体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。
既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。
本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
論文 参考訳（メタデータ） (2021-09-30T16:41:19Z) - Hierarchical Poset Decoding for Compositional Generalization in Language [52.13611501363484]
出力が部分的に順序付けられた集合(命題)である構造化予測タスクとして人間の言語理解を形式化する。
現在のエンコーダ・デコーダアーキテクチャは意味論のポーズ構造を適切に考慮していない。
本稿では,言語における合成一般化のための新しい階層型ポーズデコーディングパラダイムを提案する。
論文 参考訳（メタデータ） (2020-10-15T14:34:26Z) - Structure by Architecture: Structured Representations without
Regularization [31.75200752252397]
生成モデルなどの下流タスクにオートエンコーダを用いた自己教師型表現学習の課題について検討する。
我々はアグレッシブな正規化を必要とせずに構造化表現を学習できる新しいオートエンコーダアーキテクチャを設計する。
これらのモデルが、生成、絡み合い、外挿を含む様々な下流タスクの結果を改善する表現をいかに学習するかを実証する。
論文 参考訳（メタデータ） (2020-06-14T04:37:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。