論文の概要: Learning with Hidden Factorial Structure

• arxiv url: http://arxiv.org/abs/2411.01375v3
• Date: Sun, 02 Feb 2025 22:25:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:08:09.934876
• Title: Learning with Hidden Factorial Structure
• Title（参考訳）: 隠れた要因構造による学習
• Authors: Charles Arnal, Clement Berenfeld, Simon Rosenberg, Vivien Cabannes,
• Abstract要約: 近年の進歩は、テキストと画像データがそのような隠された構造を含んでいることを示唆しており、次元の呪いを和らげるのに役立つ。 ニューラルネットワークが実際にそのような「隠れた因子構造」を活用できるかどうかをテストするための制御された実験フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 2.474908349649168
• License:
• Abstract: Statistical learning in high-dimensional spaces is challenging without a strong underlying data structure. Recent advances with foundational models suggest that text and image data contain such hidden structures, which help mitigate the curse of dimensionality. Inspired by results from nonparametric statistics, we hypothesize that this phenomenon can be partially explained in terms of decomposition of complex tasks into simpler subtasks. In this paper, we present a controlled experimental framework to test whether neural networks can indeed exploit such "hidden factorial structures". We find that they do leverage these latent patterns to learn discrete distributions more efficiently. We also study the interplay between our structural assumptions and the models' capacity for generalization.
• Abstract（参考訳）: 高次元空間における統計的学習は、強力な基盤となるデータ構造なしでは困難である。 基礎モデルによる最近の進歩は、テキストと画像データがそのような隠された構造を含んでいることを示唆し、次元の呪いを和らげる。 非パラメトリック統計学の結果から着想を得たこの現象は、複雑なタスクを単純なサブタスクに分解することで部分的に説明できるという仮説を立てた。 本稿では、ニューラルネットワークが実際にそのような「隠された因子構造」を活用できるかどうかを検証するための制御された実験フレームワークを提案する。 これらの潜在パターンを活用して、離散分布をより効率的に学習できることが分かりました。 また、構造的仮定と一般化のためのモデルの能力との間の相互作用についても検討する。

関連論文リスト

• Shallow diffusion networks provably learn hidden low-dimensional structure [17.563546018565468]
  拡散に基づく生成モデルは、複雑なターゲット分布からサンプルを学習するための強力なフレームワークを提供する。 これらのモデルは、低次元構造の単純な形式に確実に適応し、従って次元性の呪いを避けることが示される。 この結果と最近の拡散モデルによるサンプリング解析を組み合わせることで,構造化分布からサンプルを学習するためのエンドツーエンドのサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2024-10-15T04:55:56Z)
• Hardness of Learning Neural Networks under the Manifold Hypothesis [3.2635082758250693]
  多様体仮説は、高次元データが低次元多様体上または近辺にあると仮定する。 多様体仮説に基づく学習の難しさについて検討する。 データ多様体の体積に関する追加の仮定は、これらの基本的な制限を緩和することを示します。
  論文  参考訳（メタデータ） (2024-06-03T15:50:32Z)
• ComboStoc: Combinatorial Stochasticity for Diffusion Generative Models [65.82630283336051]
  拡散生成モデルの既存のトレーニングスキームにより,次元と属性の組み合わせによって区切られた空間が十分に標本化されていないことを示す。 構造を完全に活用するプロセスを構築し,ComboStocという名前でこの問題に対処する。
  論文  参考訳（メタデータ） (2024-05-22T15:23:10Z)
• Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
  テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。 モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-09T06:57:45Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• Discrete Latent Structure in Neural Networks [32.41642110537956]
  このテキストは、離散的な潜在構造を持つ学習のための3つの広義の戦略を探求する。 たいていは、同じ基本ブロックの小さなセットで構成されているが、それらが異なる使い方をしており、適用性や特性が著しく異なることを示している。
  論文  参考訳（メタデータ） (2023-01-18T12:30:44Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。