論文の概要: The Physics of Data and Tasks: Theories of Locality and Compositionality in Deep Learning

• arxiv url: http://arxiv.org/abs/2510.06106v1
• Date: Tue, 07 Oct 2025 16:40:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.359691
• Title: The Physics of Data and Tasks: Theories of Locality and Compositionality in Deep Learning
• Title（参考訳）: データとタスクの物理:深層学習における局所性と構成性の理論
• Authors: Alessandro Favero,
• Abstract要約: この論文は、データ、タスク、深層学習表現における局所性と構成性の役割を研究する。 ディープニューラルネットワークは目覚ましい成功を収めていますが、その学習方法に対する私たちの理解は限定的です。
• 参考スコア（独自算出の注目度）: 56.33356568466191
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have achieved remarkable success, yet our understanding of how they learn remains limited. These models can learn high-dimensional tasks, which is generally statistically intractable due to the curse of dimensionality. This apparent paradox suggests that learnable data must have an underlying latent structure. What is the nature of this structure? How do neural networks encode and exploit it, and how does it quantitatively impact performance - for instance, how does generalization improve with the number of training examples? This thesis addresses these questions by studying the roles of locality and compositionality in data, tasks, and deep learning representations.
• Abstract（参考訳）: ディープニューラルネットワークは目覚ましい成功を収めていますが、その学習方法に対する私たちの理解は限定的です。 これらのモデルは高次元のタスクを学習することができるが、これは一般に次元の呪いのために統計的に難解である。 この明らかなパラドックスは、学習可能なデータは下層の潜在構造を持つ必要があることを示唆している。 この構造の性質は何ですか。 ニューラルネットワークはそれをエンコードして、どのように利用するのか、パフォーマンスに定量的に影響を及ぼすのか – 例えば、トレーニングの例の数によって、一般化はどのように改善されるのか? この論文は、データ、タスク、ディープラーニング表現における局所性と構成性の役割を研究することによって、これらの疑問に対処する。

関連論文リスト

• Neural population geometry and optimal coding of tasks with shared latent structure [4.490493754303233]
  4つの幾何学的測度がタスク間の性能を決定することを示す。 マルチタスク学習問題に対する最適解として,実験的に観察された不整合表現が自然に現れることがわかった。
  論文  参考訳（メタデータ） (2024-02-26T17:39:23Z)
• Breaking the Curse of Dimensionality in Deep Neural Networks by Learning Invariant Representations [1.9580473532948401]
  この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。 ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。 本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
  論文  参考訳（メタデータ） (2023-10-24T19:50:41Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
  本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-07-21T12:01:03Z)
• Meet You Halfway: Explaining Deep Learning Mysteries [0.0]
  本稿では,ネットワークの振舞いに光を当てることを目的とした,形式的な記述を伴う新しい概念的枠組みを提案する。 なぜニューラルネットワークは一般化能力を獲得するのか? 我々は、この新しいフレームワークと基礎となる理論をサポートする包括的な実験セットを提供する。
  論文  参考訳（メタデータ） (2022-06-09T12:43:10Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。