論文の概要: Information Theory of Random Composition Trees

• arxiv url: http://arxiv.org/abs/2610.24788v1
• Date: Sat, 17 Oct 2026 17:27:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:17:34.509217
• Title: Information Theory of Random Composition Trees
• Title（参考訳）: ランダム構成木の情報理論
• Abstract要約: ランダムな構成木のエントロピーは根の大きさとともに線形に成長することを示す。 私たちは大きな木が典型的であることを証明します。 解析の結果,ランダム合成木モデルでは,定常的およびエルゴード的プロセスとしてモデル化された場合,言語の2つの重要な情報理論特性が共有されていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 1.3592625530347717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Random composition trees model the hierarchical semantic structures of meaningful texts as a statistical ensemble generated by recursively splitting texts into coherent chunks. A recent study shows that different text types can be described by random composition trees with distinct branching factors, and that the entropy rates of these trees exhibit a similar dependence across text types as the entropy rates of the actual texts. Motivated by this correspondence, we analyze information-theoretic properties of this stochastic splitting model. First, we demonstrate that the entropy of random composition trees grows linearly with the root size, and we derive an analytical expression for the entropy rate as a function of the branching factor. Second, we prove that large trees exhibit typicality: with high probability, they belong to a typical set in which each tree is approximately equally likely. Our analysis reveals that the random composition tree model shares two key information-theoretic properties of language when modeled as a stationary and ergodic stochastic process: linear entropy growth and typicality.
• Abstract（参考訳）: ランダム合成木は、意味のあるテキストの階層的意味構造を、再帰的にテキストをコヒーレントなチャンクに分割することによって生成される統計的アンサンブルとしてモデル化する。 最近の研究では、異なるテキストタイプは、異なる分岐因子を持つランダムな合成木によって記述でき、これらの木のエントロピー率は、実際のテキストのエントロピー率と同様に、テキストタイプ間で同様な依存性を示すことが示されている。 この対応により、この確率分割モデルの情報理論特性を解析する。 まず,無作為な構成木のエントロピーが根の大きさと線形に成長することを示し,分岐係数の関数としてエントロピー速度の解析式を導出する。 第二に、大きな木が典型性を示すことを証明する:高い確率で、それらは各木がほぼ同じ確率の典型集合に属する。 解析の結果, 線形エントロピー成長と典型性という, 定常的およびエルゴード的確率過程としてモデル化された場合, ランダム合成木モデルは, 言語の2つの重要な情報理論的性質を共有することがわかった。

関連論文リスト

• Entropy-Tree: Tree-Based Decoding with Entropy-Guided Exploration [52.52685988964061]
  Entropy-Treeは、分岐決定の信号としてエントロピーを利用するツリーベースのデコード手法である。 単一の復号処理において、効率的な構造化された探索と信頼性の高い不確実性推定を統一する。
  論文  参考訳（メタデータ） (2026-01-02T07:14:05Z)
• How Compositional Generalization and Creativity Improve as Diffusion Models are Trained [82.08869888944324]
  構成規則を学習するために生成モデルに必要なサンプルはいくつあるか? ルールを学習するために、データのどのシグナルが利用されるのか? ここで紹介する階層的クラスタリング機構と物理における再正規化群との関係について論じる。
  論文  参考訳（メタデータ） (2025-02-17T18:06:33Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• Elastic Shape Analysis of Tree-like 3D Objects using Extended SRVF Representation [18.728209940066055]
  木のような3次元オブジェクトの形状間の測地変形を表現・比較・計算するためのフレームワークを開発する。 サブツリーの階層的な構造は、これらのオブジェクトを特徴づける。 次に、一方の木の形の物体を他方に変形させるために必要な曲げ、伸び、分岐スライディングを定量化する新しい計量を定義する。
  論文  参考訳（メタデータ） (2021-10-17T00:59:36Z)
• Spectral neighbor joining for reconstruction of latent tree models [5.229354894035374]
  我々は,潜在木図形モデルの構造を復元する新しい手法であるSpectral Neighbor Joiningを開発した。 我々はSNJが一貫したものであることを証明し、推定された類似性行列から木回復を正すのに十分な条件を導出する。 SNJは,他の再建法と比較して,多数の葉や長い縁を持つ樹木を正確に復元するために,サンプルを少なくする。
  論文  参考訳（メタデータ） (2020-02-28T05:13:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。