論文の概要: Infusing Lattice Symmetry Priors in Attention Mechanisms for
Sample-Efficient Abstract Geometric Reasoning
- arxiv url: http://arxiv.org/abs/2306.03175v1
- Date: Mon, 5 Jun 2023 18:32:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 18:50:17.925243
- Title: Infusing Lattice Symmetry Priors in Attention Mechanisms for
Sample-Efficient Abstract Geometric Reasoning
- Title（参考訳）: サンプル効率のよい抽象幾何推論のための注意機構における格子対称性の先行
- Authors: Mattia Atzeni, Mrinmaya Sachan, Andreas Loukas
- Abstract要約: 抽象と推論(ARC)は、汎用AIへの重要なステップとして仮定されている。
これらの課題を解くには、コア知識の事前の適切な会計によってのみ達成できる極端に一般化が必要である、と我々は主張する。
格子先行を注目マスクに組み込んだモデルであるLatFormerを紹介する。
- 参考スコア（独自算出の注目度）: 45.4605460163454
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Abstraction and Reasoning Corpus (ARC) (Chollet, 2019) and its most
recent language-complete instantiation (LARC) has been postulated as an
important step towards general AI. Yet, even state-of-the-art machine learning
models struggle to achieve meaningful performance on these problems, falling
behind non-learning based approaches. We argue that solving these tasks
requires extreme generalization that can only be achieved by proper accounting
for core knowledge priors. As a step towards this goal, we focus on geometry
priors and introduce LatFormer, a model that incorporates lattice symmetry
priors in attention masks. We show that, for any transformation of the
hypercubic lattice, there exists a binary attention mask that implements that
group action. Hence, our study motivates a modification to the standard
attention mechanism, where attention weights are scaled using soft masks
generated by a convolutional network. Experiments on synthetic geometric
reasoning show that LatFormer requires 2 orders of magnitude fewer data than
standard attention and transformers. Moreover, our results on ARC and LARC
tasks that incorporate geometric priors provide preliminary evidence that these
complex datasets do not lie out of the reach of deep learning models.
- Abstract（参考訳）: Abstraction and Reasoning Corpus (ARC) (Chollet, 2019)とその最新の言語完全インスタンス化(LARC)は、汎用AIへの重要なステップとして仮定されている。
しかし、最先端の機械学習モデルでさえ、これらの問題に対して有意義なパフォーマンスを達成するのに苦労し、非学習ベースのアプローチに遅れている。
これらの課題を解くには、コア知識の事前の適切な会計によってのみ達成できる極端に一般化が必要であると我々は主張する。
この目標に向けてのステップとして、幾何学的優先順位に注目し、注意マスクに格子対称性を組み込んだモデルlatformerを紹介します。
双立方格子の任意の変換に対して、その群作用を実装する二項注意マスクが存在することを示す。
そこで本研究では,畳み込みネットワークによって生成されるソフトマスクを用いて注意重みをスケールする標準注意機構の修正を行った。
合成幾何学的推論の実験は、LatFormerが標準の注意と変換器よりも2桁少ないデータを必要とすることを示している。
さらに,幾何的先行要素を組み込んだARCおよびLARCタスクの結果から,これらの複雑なデータセットが深層学習モデルの範囲外にあるという予備的な証拠が得られる。
関連論文リスト
- Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection [66.16595174895802]
既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。
本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
論文 参考訳（メタデータ） (2024-11-23T19:10:32Z) - Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。
本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。
この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
論文 参考訳（メタデータ） (2024-10-17T17:16:00Z) - Exploiting the Layered Intrinsic Dimensionality of Deep Models for Practical Adversarial Training [31.495803865226158]
対人訓練(AT)は、2つの主要な理由から実践的なAIシステムに展開されることはめったにない。
ATはビジョンモデルにおける一般化の減少をもたらすが、エンコーダベースの言語モデルでは一般化は改善されるか変化しない。
SMAATは標準的なATに比べて25～33%のGPU時間しか必要とせず、全アプリケーションにおけるロバスト性は著しく向上している。
論文 参考訳（メタデータ） (2024-05-27T12:48:30Z) - Efficient Compression of Overparameterized Deep Models through
Low-Dimensional Learning Dynamics [10.673414267895355]
本稿ではパラメータ化モデルを用いた新しい圧縮手法を提案する。
本アルゴリズムは, 一般化を損なうことなく, トレーニング効率を2倍以上に向上させる。
論文 参考訳（メタデータ） (2023-11-08T23:57:03Z) - Evaluating Robustness of Visual Representations for Object Assembly Task
Requiring Spatio-Geometrical Reasoning [8.626019848533707]
本稿では,オブジェクト・アセンブリ・タスクのコンテキストにおける視覚表現の堅牢性の評価と評価に焦点をあてる。
我々は視覚前訓練モデルを視覚エンコーダとして利用するビズモータ政策学習の一般的な枠組みを用いる。
本研究は、両腕操作装置に適用する場合、特にグリップ変動に対して、この枠組みの頑健性について検討する。
論文 参考訳（メタデータ） (2023-10-15T20:41:07Z) - The Decimation Scheme for Symmetric Matrix Factorization [0.0]
行列分解(Matrix factorization)は、その広範囲な応用により重要になった推論問題である。
我々はこの広範囲なランク問題について研究し、最近導入した代替の「決定」手順を拡張した。
本稿では,デシメーションを実装し,行列分解を行う基底状態探索に基づく簡単なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:53:45Z) - Deep learning applied to computational mechanics: A comprehensive
review, state of the art, and the classics [77.34726150561087]
人工知能,特に深層学習(DL)の最近の進歩を概観する。
ハイブリッドおよび純粋機械学習(ML)の手法について論じる。
AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
論文 参考訳（メタデータ） (2022-12-18T02:03:00Z) - Learning Mechanically Driven Emergent Behavior with Message Passing
Neural Networks [0.0]
非対称なBuckling Columnsデータセットを紹介する。
目的は、不安定性の開始後の圧縮下での対称性破壊の方向を分類することである。
GNNモデルアーキテクチャの検討に加えて、異なる入力データ表現アプローチの効果について検討する。
論文 参考訳（メタデータ） (2022-02-03T02:46:16Z) - Self-supervised Geometric Perception [96.89966337518854]
自己教師付き幾何知覚(self-supervised geometric perception)は、基底幾何モデルラベルなしで対応マッチングのための特徴記述子を学ぶためのフレームワークである。
また,SGPは,地上トラスラベルを用いて訓練した教師付きオークルよりも同等か優れる最先端性能を達成できることを示す。
論文 参考訳（メタデータ） (2021-03-04T15:34:43Z) - SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。
事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。
本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-25T14:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。