論文の概要: On the Generalization of Learned Structured Representations

• arxiv url: http://arxiv.org/abs/2304.13001v1
• Date: Tue, 25 Apr 2023 17:14:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-26 19:25:50.613391
• Title: On the Generalization of Learned Structured Representations
• Title（参考訳）: 学習された構造化表現の一般化について
• Authors: Andrea Dittadi
• Abstract要約: 我々は、その隠された構造を捉えた非構造化データの表現を、ほとんど、あるいは全く監督せずに学習する方法を研究する。 この論文の第2部は、シンボルのような実体の観点で入力の構成構造をキャプチャするオブジェクト中心表現に焦点を当てている。
• 参考スコア（独自算出の注目度）: 5.1398743023989555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite tremendous progress over the past decade, deep learning methods generally fall short of human-level systematic generalization. It has been argued that explicitly capturing the underlying structure of data should allow connectionist systems to generalize in a more predictable and systematic manner. Indeed, evidence in humans suggests that interpreting the world in terms of symbol-like compositional entities may be crucial for intelligent behavior and high-level reasoning. Another common limitation of deep learning systems is that they require large amounts of training data, which can be expensive to obtain. In representation learning, large datasets are leveraged to learn generic data representations that may be useful for efficient learning of arbitrary downstream tasks. This thesis is about structured representation learning. We study methods that learn, with little or no supervision, representations of unstructured data that capture its hidden structure. In the first part of the thesis, we focus on representations that disentangle the explanatory factors of variation of the data. We scale up disentangled representation learning to a novel robotic dataset, and perform a systematic large-scale study on the role of pretrained representations for out-of-distribution generalization in downstream robotic tasks. The second part of this thesis focuses on object-centric representations, which capture the compositional structure of the input in terms of symbol-like entities, such as objects in visual scenes. Object-centric learning methods learn to form meaningful entities from unstructured input, enabling symbolic information processing on a connectionist substrate. In this study, we train a selection of methods on several common datasets, and investigate their usefulness for downstream tasks and their ability to generalize out of distribution.
• Abstract（参考訳）: 過去10年間に大きく進歩したにもかかわらず、ディープラーニングの手法は一般に人間レベルの体系的な一般化に欠ける。 データの基盤となる構造を明示的に捉えることで、コネクショニストシステムがより予測可能で体系的な方法で一般化できることが主張されている。 実際、人間の証拠は、記号のような構成的実体で世界を解釈することは知的行動や高レベルの推論に不可欠であることを示唆している。 ディープラーニングシステムのもうひとつの一般的な制限は、大量のトレーニングデータを必要とすることだ。 表現学習では、任意の下流タスクを効率的に学習するのに有用な汎用データ表現を学習するために、大きなデータセットが利用される。 この論文は構造化表現学習に関するものである。 我々は,その隠れた構造を捉えた非構造化データの表現をほとんど,あるいは全く監視せずに学習する手法について検討する。 論文の第1部では,データの変動の説明的要因を異にする表現に注目した。 分散表現学習を新しいロボットデータセットにスケールアップし、下流ロボットタスクにおける分布外一般化のための事前学習表現の役割を体系的に大規模に研究する。 この論文の第2部はオブジェクト中心の表現に焦点を当てており、視覚シーンのオブジェクトのようなシンボルのようなエンティティの観点で入力の構成構造を捉えている。 オブジェクト中心学習法は、無構造入力から有意義な実体を形成することを学習し、コネクショニスト基板上でシンボリック情報処理を可能にする。 本研究では,複数の共通データセット上のメソッドの選択を訓練し,下流タスクの有用性と分布から一般化する能力について検討する。

関連論文リスト

• Exploiting Contextual Uncertainty of Visual Data for Efficient Training of Deep Models [0.65268245109828]
  アクティブラーニングCDALにおける文脈多様性の概念を導入する。 モデルバイアスを低減するために、文脈的に公正なデータをキュレートするデータ修復アルゴリズムを提案する。 我々は、野生生物カメラトラップ画像の画像検索システムと、質の悪い農村道路に対する信頼性の高い警告システムの開発に取り組んでいる。
  論文  参考訳（メタデータ） (2024-11-04T09:43:33Z)
• Zero-Shot Object-Centric Representation Learning [72.43369950684057]
  ゼロショット一般化のレンズによる現在の対象中心法について検討する。 8つの異なる合成および実世界のデータセットからなるベンチマークを導入する。 多様な実世界の画像のトレーニングにより、見えないシナリオへの転送性が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-17T10:37:07Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Relate to Predict: Towards Task-Independent Knowledge Representations for Reinforcement Learning [11.245432408899092]
  強化学習は、エージェントが複雑なタスクを学習できるようにする。 知識を解釈し、タスク間で再利用することは難しい。 本稿では,対象中心の知識分離を明示する帰納的バイアスを導入する。 知識分離における明示性の程度は、学習の高速化、精度の向上、一般化の向上、理解可能性の向上と相関していることを示す。
  論文  参考訳（メタデータ） (2022-12-10T13:33:56Z)
• Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
  我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。 本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2022-05-30T17:50:59Z)
• Object Pursuit: Building a Space of Objects via Discriminative Weight Generation [23.85039747700698]
  視覚学習と理解のためのオブジェクト中心表現を継続的に学習するフレームワークを提案する。 我々は、オブジェクト中心の表現を学習しながら、オブジェクトとそれに対応するトレーニング信号の多様なバリエーションをサンプリングするために、インタラクションを活用する。 提案するフレームワークの重要な特徴について広範な研究を行い,学習した表現の特徴を分析した。
  論文  参考訳（メタデータ） (2021-12-15T08:25:30Z)
• Generalization and Robustness Implications in Object-Centric Learning [23.021791024676986]
  本稿では,5つの共通オブジェクトデータセット上で,最先端の教師なしモデルを訓練する。 実験結果から,ダウンストリームタスクに一般的に有用なオブジェクト中心表現が得られた。
  論文  参考訳（メタデータ） (2021-07-01T17:51:11Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Laplacian Denoising Autoencoder [114.21219514831343]
  本稿では,新しいタイプの自動符号化器を用いてデータ表現を学習することを提案する。 勾配領域における潜伏クリーンデータを破損させて雑音入力データを生成する。 いくつかのビジュアルベンチマークの実験では、提案されたアプローチでより良い表現が学べることが示されている。
  論文  参考訳（メタデータ） (2020-03-30T16:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。