論文の概要: Abstraction requires breadth: a renormalisation group approach

• arxiv url: http://arxiv.org/abs/2407.01656v3
• Date: Wed, 19 Feb 2025 10:27:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:56:52.312131
• Title: Abstraction requires breadth: a renormalisation group approach
• Title（参考訳）: 抽象化には幅が必要:再正規化グループアプローチ
• Authors: Carlo Orientale Caputo, Elias Seiffert, Matteo Marsili,
• Abstract要約: 抽象化のレベルは、トレーニングセットがどの程度広いかに大きく依存する、と私たちは主張する。 我々は、抽象表現の候補として、この変換のユニークな固定点、階層的特徴モデル(hierarchical Feature Model)を取り上げます。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Abstraction is the process of extracting the essential features from raw data while ignoring irrelevant details. This is similar to the process of focusing on large-scale properties, systematically removing irrelevant small-scale details, implemented in the renormalisation group of statistical physics. This analogy is suggestive because the fixed points of the renormalisation group offer an ideal candidate of a truly abstract -- i.e. data independent -- representation. It has been observed that abstraction emerges with depth in neural networks. Deep layers of neural network capture abstract characteristics of data, such as "cat-ness" or "dog-ness" in images, by combining the lower level features encoded in shallow layers (e.g. edges). Yet we argue that depth alone is not enough to develop truly abstract representations. We advocate that the level of abstraction crucially depends on how broad the training set is. We address the issue within a renormalisation group approach where a representation is expanded to encompass a broader set of data. We take the unique fixed point of this transformation -- the Hierarchical Feature Model -- as a candidate for an abstract representation. This theoretical picture is tested in numerical experiments based on Deep Belief Networks trained on data of different breadth. These show that representations in deep layers of neural networks approach the Hierarchical Feature Model as the data gets broader, in agreement with theoretical predictions.
• Abstract（参考訳）: 抽象化は、無関係な詳細を無視しながら、生データから重要な特徴を抽出するプロセスである。 これは、統計物理学の再正規化グループで実装された、無関係な小さな詳細を体系的に取り除く、大規模な性質に焦点を合わせるプロセスに類似している。 この類似性は、再正規化群の固定点が真に抽象的な、すなわちデータ独立な表現の理想的な候補を与えるからである。 抽象化はニューラルネットワークの深さとともに現れることが観察されている。 ニューラルネットワークの深い層は、浅い層(egエッジ)にエンコードされた下位層の特徴を組み合わせることで、画像の"cat-ness"や"dog-ness"のようなデータの抽象的な特性をキャプチャする。 しかし、深度だけでは真の抽象表現を開発するには不十分であると主張する。 抽象化のレベルは、トレーニングセットがどの程度広いかに大きく依存する、と私たちは主張します。 我々は、より広範なデータを含むように表現を拡張した再正規化グループアプローチでこの問題に対処する。 我々は、抽象表現の候補として、この変換のユニークな固定点、階層的特徴モデル(hierarchical Feature Model)を取り上げます。 この理論図は、異なる幅のデータに基づいて訓練されたディープ・リーフ・ネットワークに基づく数値実験で検証される。 これらのことは、ニューラルネットワークの深い層における表現が、理論的予測と一致して、データがより広くなるにつれて階層的特徴モデルに近づくことを示している。

関連論文リスト

• Robust Shape Fitting for 3D Scene Abstraction [33.84212609361491]
  特に,キュービドやシリンダーなどのボリュームプリミティブを用いて人工環境を記述することができる。 プリミティブフィッティングのためのロバストな推定器を提案し、キュービドを用いて複雑な現実世界環境を有意に抽象化する。 NYU Depth v2データセットの結果、提案アルゴリズムは、乱雑な現実世界の3Dシーンレイアウトをうまく抽象化することを示した。
  論文  参考訳（メタデータ） (2024-03-15T16:37:43Z)
• Neural Causal Abstractions [63.21695740637627]
  我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。 本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。 本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
  論文  参考訳（メタデータ） (2024-01-05T02:00:27Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• Primitive-based Shape Abstraction via Nonparametric Bayesian Inference [29.7543198254021]
  本稿では,未知数の幾何学的プリミティブからなる抽象化を点雲から推論する,新しい非パラメトリックベイズ統計法を提案する。 提案手法は精度において最先端の手法より優れており,様々な種類のオブジェクトに対して一般化可能である。
  論文  参考訳（メタデータ） (2022-03-28T13:00:06Z)
• Online Deep Learning based on Auto-Encoder [4.128388784932455]
  オートエンコーダ(ODLAE)に基づく2段階オンライン深層学習を提案する。 復元損失を考慮した自動エンコーダを用いて,インスタンスの階層的潜在表現を抽出する。 我々は,各隠れ層の分類結果を融合して得られる出力レベル融合戦略と,隠れ層の出力を融合させる自己保持機構を利用した特徴レベル融合戦略の2つの融合戦略を考案した。
  論文  参考訳（メタデータ） (2022-01-19T02:14:57Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• A Light-weight Interpretable CompositionalNetwork for Nuclei Detection and Weakly-supervised Segmentation [10.196621315018884]
  ディープニューラルネットワークは通常、膨大なパラメータをトレーニングするために大量の注釈付きデータを必要とする。 我々は,特に孤立した核に部分的なアノテーションを必要とするデータ効率モデルを構築することを提案する。
  論文  参考訳（メタデータ） (2021-10-26T16:44:08Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Extracting Semantic Indoor Maps from Occupancy Grids [2.4214518935746185]
  室内環境のセマンティックマッピングに着目した。 ベイジアン推論を用いて,典型的なグリッドマップから抽象フロアプランを抽出する手法を提案する。 実世界のデータを用いたアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2020-02-19T18:52:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。