論文の概要: Emergence and Function of Abstract Representations in Self-Supervised Transformers

• arxiv url: http://arxiv.org/abs/2312.05361v1
• Date: Fri, 8 Dec 2023 20:47:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 21:23:09.896908
• Title: Emergence and Function of Abstract Representations in Self-Supervised Transformers
• Title（参考訳）: 自己監督型変換器における抽象表現の創発と機能
• Authors: Quentin RV. Ferry, Joshua Ching, Takashi Kawai
• Abstract要約: 本研究では,部分的にマスキングされた視覚シーンを再構築するために訓練された小型トランスフォーマーの内部動作について検討する。 ネットワークは、データセットのすべての意味的特徴をエンコードする中間抽象表現(抽象表現)を開発する。 正確な操作実験を用いて、抽象化がネットワークの意思決定プロセスの中心であることを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human intelligence relies in part on our brains' ability to create abstract mental models that succinctly capture the hidden blueprint of our reality. Such abstract world models notably allow us to rapidly navigate novel situations by generalizing prior knowledge, a trait deep learning systems have historically struggled to replicate. However, the recent shift from supervised to self-supervised objectives, combined with expressive transformer-based architectures, have yielded powerful foundation models that appear to learn versatile representations that can support a wide range of downstream tasks. This promising development raises the intriguing possibility of such models developing in silico abstract world models. We test this hypothesis by studying the inner workings of small-scale transformers trained to reconstruct partially masked visual scenes generated from a simple blueprint. We show that the network develops intermediate abstract representations, or abstractions, that encode all semantic features of the dataset. These abstractions manifest as low-dimensional manifolds where the embeddings of semantically related tokens transiently converge, thus allowing for the generalization of downstream computations. Using precise manipulation experiments, we demonstrate that abstractions are central to the network's decision-making process. Our research also suggests that these abstractions are compositionally structured, exhibiting features like contextual independence and part-whole relationships that mirror the compositional nature of the dataset. Finally, we introduce a Language-Enhanced Architecture (LEA) designed to encourage the network to articulate its computations. We find that LEA develops an abstraction-centric language that can be easily interpreted, allowing us to more readily access and steer the network's decision-making process.
• Abstract（参考訳）: 人間の知性は、私たちの現実の隠された青写真を簡潔にキャプチャする抽象的な精神モデルを作成する脳の能力の一部に依存しています。 このような抽象的な世界モデルによって、先進的な知識を一般化することで、新しい状況を迅速にナビゲートすることができます。 しかし、近年の監視対象から自己監督対象への移行は、表現力のあるトランスフォーマーベースのアーキテクチャと相まって、幅広い下流タスクをサポートする多彩な表現を学習する強力な基礎モデルを生み出した。 この有望な開発は、シリコ抽象世界モデルでこのようなモデルが発展する可能性を高める。 簡単な青写真から生成された部分的にマスキングされた視覚シーンを再現するために訓練された小型トランスフォーマーの内部動作を研究することにより、この仮説を検証する。 ネットワークは、データセットのすべての意味的特徴を符号化する中間抽象表現(抽象表現)を開発する。 これらの抽象化は、意味論的に関連するトークンの埋め込みが過渡的に収束する低次元多様体として現れ、下流計算の一般化を可能にする。 正確な操作実験を用いて,抽象化がネットワークの意思決定プロセスの中心であることを実証する。 我々の研究は、これらの抽象化は構成的に構造化されており、データセットの構成的性質を反映する文脈的独立性や部分的全体的関係のような特徴を示すことを示唆している。 最後に、ネットワークがその計算を明瞭化するために設計された言語拡張アーキテクチャ(lea)を紹介する。 LEAは、容易に解釈できる抽象中心の言語を開発しており、ネットワークの意思決定プロセスに容易にアクセスし、管理することができます。

関連論文リスト

• VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning [86.59849798539312]
  本稿では,記号的・神経的知識表現の強みを組み合わせた一階抽象言語Neuro-Symbolic Predicatesを提案する。 提案手法は, サンプルの複雑さの向上, 分布外一般化の強化, 解釈可能性の向上を実現する。
  論文  参考訳（メタデータ） (2024-10-30T16:11:05Z)
• ARPA: A Novel Hybrid Model for Advancing Visual Word Disambiguation Using Large Language Models and Transformers [1.6541870997607049]
  変換器の高度な特徴抽出機能を備えた大規模言語モデルの非並列的文脈理解を融合したアーキテクチャであるARPAを提案する。 ARPAの導入は、視覚的単語の曖昧さにおいて重要なマイルストーンであり、魅力的なソリューションを提供する。 我々は研究者や実践者たちに、このようなハイブリッドモデルが人工知能の先例のない進歩を後押しする未来を想像して、我々のモデルの能力を探求するよう依頼する。
  論文  参考訳（メタデータ） (2024-08-12T10:15:13Z)
• AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
  抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。 本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:11:23Z)
• Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
  抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。 本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-23T12:50:02Z)
• Robust and Controllable Object-Centric Learning through Energy-based Models [95.68748828339059]
  我々の研究は概念的にシンプルで一般的なアプローチであり、エネルギーベースモデルを通してオブジェクト中心の表現を学習する。 既存のアーキテクチャに容易に統合でき、高品質なオブジェクト中心表現を効果的に抽出できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:11:15Z)
• Abstract Interpretation for Generalized Heuristic Search in Model-Based Planning [50.96320003643406]
  ドメイン・ジェネラル・モデル・ベース・プランナーは、しばしば記号的世界モデルの緩和を通じて探索を構築することによって一般性を導出する。 抽象解釈がこれらの抽象化の統一フレームワークとして機能し、よりリッチな世界モデルに探索の範囲を広げる方法について説明する。 また、これらは学習と統合することができ、エージェントは抽象的な情報を通じて、新しい世界のモデルで計画を開始することができる。
  論文  参考訳（メタデータ） (2022-08-05T00:22:11Z)
• Constellation: Learning relational abstractions over objects for compositional imagination [64.99658940906917]
  静的な視覚シーンのリレーショナル抽象化を学習するネットワークであるConstellationを紹介する。 この研究は、視覚的関係を明確に表現し、それらを複雑な認知手続きに使用するための第一歩である。
  論文  参考訳（メタデータ） (2021-07-23T11:59:40Z)
• Learning Neural-Symbolic Descriptive Planning Models via Cube-Space Priors: The Voyage Home (to STRIPS) [13.141761152863868]
  我々のニューロシンボリックアーキテクチャは、画像のみから簡潔で効果的な離散状態遷移モデルを生成するために、エンドツーエンドで訓練されていることを示す。 私たちのターゲット表現は、既成の問題解決者が使いこなせる形で既に存在しており、現代の検索機能への扉を開いています。
  論文  参考訳（メタデータ） (2020-04-27T15:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。