論文の概要: Hierarchical Latent Structure Learning through Online Inference

• arxiv url: http://arxiv.org/abs/2603.19139v1
• Date: Thu, 19 Mar 2026 16:57:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.281806
• Title: Hierarchical Latent Structure Learning through Online Inference
• Title（参考訳）: オンライン推論による階層的潜在構造学習
• Authors: Ines Aitsahalia, Kiyohito Iigaya,
• Abstract要約: HOLMESはオンライン推論による階層的潜在構造学習のための計算フレームワークである。 シミュレーションでは、HOLMESはよりコンパクトな表現を学習しながらフラットモデルの予測性能と一致した。 これらの結果は、シーケンシャルデータの階層構造を発見するための抽出可能な計算フレームワークを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning systems must balance generalization across experiences with discrimination of task-relevant details. Effective learning therefore requires representations that support both. Online latent-cause models support incremental inference but assume flat partitions, whereas hierarchical Bayesian models capture multilevel structure but typically require offline inference. We introduce the Hierarchical Online Learning of Multiscale Experience Structure (HOLMES) model, a computational framework for hierarchical latent structure learning through online inference. HOLMES combines a variation on the nested Chinese Restaurant Process prior with sequential Monte Carlo inference to perform tractable trial-by-trial inference over hierarchical latent representations without explicit supervision over the latent structure. In simulations, HOLMES matched the predictive performance of flat models while learning more compact representations that supported one-shot transfer to higher-level latent categories. In a context-dependent task with nested temporal structure, HOLMES also improved outcome prediction relative to flat models. These results provide a tractable computational framework for discovering hierarchical structure in sequential data.
• Abstract（参考訳）: 学習システムは、タスク関連詳細を識別した経験間での一般化のバランスをとる必要がある。 したがって、効果的な学習には両方をサポートする表現が必要である。 オンライン遅延原因モデルはインクリメンタル推論をサポートするが、フラットパーティションを仮定する一方、階層ベイズモデルはマルチレベル構造をキャプチャするが、通常オフライン推論を必要とする。 本稿では,階層的階層構造学習のための計算フレームワークHOLMES(Hierarchical Online Learning of Multiscale Experience Structure)モデルを紹介する。 HOLMESは、ネストした中華レストランプロセスのバリエーションと、シーケンシャルなモンテカルロ推論を組み合わせることで、階層的な潜在表現に対して、潜在構造に対する明示的な監督なしに、トラクタブルな試行錯誤を行う。 シミュレーションでは、HOLMESはフラットモデルの予測性能と一致し、より高いレベルの潜在カテゴリへのワンショット転送をサポートするよりコンパクトな表現を学習した。 ネスト時間構造を持つ文脈依存タスクでは、HOLMESはフラットモデルに対する結果予測も改善した。 これらの結果は、シーケンシャルデータの階層構造を発見するための抽出可能な計算フレームワークを提供する。

関連論文リスト

• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• From Logits to Hierarchies: Hierarchical Clustering made Simple [16.132657141993548]
  事前訓練された非階層クラスタリングモデル上に実装された軽量なプロシージャは、階層クラスタリングに特化して設計されたモデルより優れていることを示す。 提案手法は,微調整を必要とせず,ログを出力する事前学習クラスタリングモデルに適用可能である。
  論文  参考訳（メタデータ） (2024-10-10T12:27:45Z)
• Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
  テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。 モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-09T06:57:45Z)
• Graph-based Time Series Clustering for End-to-End Hierarchical Forecasting [18.069747511100132]
  時系列間の関係は、効果的な予測モデル学習における帰納バイアスとして利用することができる。 本稿では,関係性および階層的帰納バイアスを統一するグラフベースの手法を提案する。
  論文  参考訳（メタデータ） (2023-05-30T16:27:25Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)
• Structure by Architecture: Structured Representations without Regularization [31.75200752252397]
  生成モデルなどの下流タスクにオートエンコーダを用いた自己教師型表現学習の課題について検討する。 我々はアグレッシブな正規化を必要とせずに構造化表現を学習できる新しいオートエンコーダアーキテクチャを設計する。 これらのモデルが、生成、絡み合い、外挿を含む様々な下流タスクの結果を改善する表現をいかに学習するかを実証する。
  論文  参考訳（メタデータ） (2020-06-14T04:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。