論文の概要: Discrete JEPA: Learning Discrete Token Representations without Reconstruction
- arxiv url: http://arxiv.org/abs/2506.14373v2
- Date: Sun, 22 Jun 2025 15:49:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-24 12:48:19.122358
- Title: Discrete JEPA: Learning Discrete Token Representations without Reconstruction
- Title（参考訳）: 離散的JEPA: 離散的トークン表現を再構築せずに学習する
- Authors: Junyeob Baek, Hosung Lee, Christopher Hoang, Mengye Ren, Sungjin Ahn,
- Abstract要約: 認知知性の象徴的な基礎は、観測から隠れたパターンを抽出することにある。
本稿では,意味的トークン化による潜在予測符号化フレームワークであるDisdisrete-JEPAを提案する。
我々のアプローチは、人工知能システムにおける世界モデリングと計画能力の進歩に大きな影響を与えることを約束する。
- 参考スコア（独自算出の注目度）: 23.6286989806018
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The cornerstone of cognitive intelligence lies in extracting hidden patterns from observations and leveraging these principles to systematically predict future outcomes. However, current image tokenization methods demonstrate significant limitations in tasks requiring symbolic abstraction and logical reasoning capabilities essential for systematic inference. To address this challenge, we propose Discrete-JEPA, extending the latent predictive coding framework with semantic tokenization and novel complementary objectives to create robust tokenization for symbolic reasoning tasks. Discrete-JEPA dramatically outperforms baselines on visual symbolic prediction tasks, while striking visual evidence reveals the spontaneous emergence of deliberate systematic patterns within the learned semantic token space. Though an initial model, our approach promises a significant impact for advancing Symbolic world modeling and planning capabilities in artificial intelligence systems.
- Abstract（参考訳）: 認知知性の基盤は、観察から隠れたパターンを抽出し、これらの原則を利用して将来の成果を体系的に予測することにある。
しかし、現在の画像のトークン化手法は、抽象的な抽象と論理的推論能力を必要とするタスクにおいて、重要な制限を証明している。
この課題に対処するために、我々は、意味的トークン化と新しい補完目的を備えた潜在予測符号化フレームワークを拡張して、記号的推論タスクのための堅牢なトークン化を作成する、離散JEPAを提案する。
離散JEPAは視覚的記号予測タスクのベースラインを劇的に上回り、視覚的証拠は学習された意味トークン空間内で意図的な体系的パターンが自発的に出現することを明らかにする。
最初のモデルではあるが、我々のアプローチは、人工知能システムにおけるシンボル的世界モデリングと計画能力の進歩に大きな影響を与えることを約束している。
関連論文リスト
- Exploiting Symbolic Heuristics for the Synthesis of Domain-Specific Temporal Planning Guidance using Reinforcement Learning [51.54559117314768]
最近の研究は、時間プランナーの性能向上のためのガイダンスの合成に強化学習(Reinforcement Learning, RL)を用いることを検討した。
本稿では,RLと計画段階の両方において,シンボリックスが提供した情報を活用することに焦点を当てた学習計画フレームワークの進化を提案する。
論文 参考訳（メタデータ） (2025-05-19T17:19:13Z) - Learning for Long-Horizon Planning via Neuro-Symbolic Abductive Imitation [38.72920702089471]
データ駆動学習と記号に基づく推論を統合した新しいフレームワーク textbfABductive textbfImitation textbfLearning (ABIL) を提案する。
ABILは、原観測からシンボル空間への認識を促進するための述語候補を生成する。
実験の結果,提案手法は課題関連記号による観察をうまく理解し,模倣学習を支援することが確認できた。
論文 参考訳（メタデータ） (2024-11-27T10:26:14Z) - VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning [86.59849798539312]
本稿では,記号的・神経的知識表現の強みを組み合わせた一階抽象言語Neuro-Symbolic Predicatesを提案する。
提案手法は, サンプルの複雑さの向上, 分布外一般化の強化, 解釈可能性の向上を実現する。
論文 参考訳（メタデータ） (2024-10-30T16:11:05Z) - Interpretable Concept-Based Memory Reasoning [12.562474638728194]
コンセプトベースのメモリリゾナー(CMR)は、人間に理解でき、検証可能なタスク予測プロセスを提供するために設計された新しいCBMである。
CMRは、最先端のCBMに対する精度-解釈可能性のトレードオフを向上し、基礎的な真実と整合した論理規則を発見し、規則の介入を可能にし、事前デプロイ検証を可能にする。
論文 参考訳（メタデータ） (2024-07-22T10:32:48Z) - Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。
我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。
このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
論文 参考訳（メタデータ） (2023-10-03T05:40:56Z) - A Novel Neural-symbolic System under Statistical Relational Learning [47.30190559449236]
NSF-SRLと呼ばれる統計的関係学習に基づくニューラルシンボリック・フレームワークを提案する。
シンボリック推論の結果は、深層学習モデルによる予測の洗練と修正に利用され、深層学習モデルはシンボリック推論プロセスの効率を高める。
我々は、このアプローチがニューラルシンボリックシステムの新しい標準となり、汎用人工知能の分野における将来の研究を促進すると信じている。
論文 参考訳（メタデータ） (2023-09-16T09:15:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。