論文の概要: Learning to Solve Constraint Satisfaction Problems with Recurrent Transformer

• arxiv url: http://arxiv.org/abs/2307.04895v1
• Date: Mon, 10 Jul 2023 20:35:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 17:01:33.029568
• Title: Learning to Solve Constraint Satisfaction Problems with Recurrent Transformer
• Title（参考訳）: リカレントトランスを用いた制約充足問題の解法
• Authors: Zhun Yang, Adam Ishay, Joohyung Lee
• Abstract要約: 再帰性によって拡張されたTransformerは,制約満足度問題を解決するための学習手段として有効な方法であることを示す。 視覚的入力を処理するためのTransformer機能により、提案したRecurrent Transformerは、視覚的制約推論問題に直接適用することができる。 また,トランスフォーマーの帰納学習における離散的制約の帰納的知識を活用して,サンプル効率のよい学習を実現する方法を示す。
• 参考スコア（独自算出の注目度）: 5.532477732693001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constraint satisfaction problems (CSPs) are about finding values of variables that satisfy the given constraints. We show that Transformer extended with recurrence is a viable approach to learning to solve CSPs in an end-to-end manner, having clear advantages over state-of-the-art methods such as Graph Neural Networks, SATNet, and some neuro-symbolic models. With the ability of Transformer to handle visual input, the proposed Recurrent Transformer can straightforwardly be applied to visual constraint reasoning problems while successfully addressing the symbol grounding problem. We also show how to leverage deductive knowledge of discrete constraints in the Transformer's inductive learning to achieve sample-efficient learning and semi-supervised learning for CSPs.
• Abstract（参考訳）: 制約満足度問題(CSP)とは、与えられた制約を満たす変数の値を見つけることである。 本稿では, ニューラルネットワーク, SATNet, およびいくつかのニューラルシンボリックモデルなどの最先端手法に対して, CSP を終末的に解くための学習手法として, 繰り返し拡張した Transformer が有効であることを示す。 視覚入力を処理するトランスフォーマの能力により、提案するリカレントトランスは、シンボルの接地問題にうまく対処しながら、視覚的制約推論問題に容易に適用することができる。 また,トランスフォーマーの帰納学習における離散的制約の帰納的知識を活用して,サンプル効率のよい学習と半教師付き学習を実現する方法を示す。

関連論文リスト

• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
  収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
  論文  参考訳（メタデータ） (2024-10-10T18:29:05Z)
• Transformers are Provably Optimal In-context Estimators for Wireless Communications [12.756143424752363]
  マルチ層変換器は文脈内推定問題を効率的に解くことができることを示す。 また,このような変圧器の最適構成が,対応するトレーニング損失の最小化要因であることも証明した。
  論文  参考訳（メタデータ） (2023-11-01T02:16:24Z)
• Resilient Constrained Learning [94.27081585149836]
  本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。 我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
  論文  参考訳（メタデータ） (2023-06-04T18:14:18Z)
• GSB: Group Superposition Binarization for Vision Transformer with Limited Training Samples [46.025105938192624]
  Vision Transformer (ViT) は様々なコンピュータビジョンタスクにおいて顕著に機能している。 ViTは通常、比較的限られた数のトレーニングサンプルで深刻なオーバーフィッティング問題に悩まされる。 本稿では,GSB(Group Superposition Binarization)と呼ばれる新しいモデルバイナライゼーション手法を提案する。
  論文  参考訳（メタデータ） (2023-05-13T14:48:09Z)
• Scaling Laws Beyond Backpropagation [64.0476282000118]
  因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。 DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
  論文  参考訳（メタデータ） (2022-10-26T10:09:14Z)
• Vision Transformer Equipped with Neural Resizer on Facial Expression Recognition Task [1.3048920509133808]
  本稿では,データ駆動方式で情報とダウンスケーリングを補償することでTransformerをサポートする新しいトレーニングフレームワークであるNeural Resizerを提案する。 F-PDLS損失関数を用いたニューラルリサイザ実験により,Transformerの変種での性能が向上した。
  論文  参考訳（メタデータ） (2022-04-05T13:04:04Z)
• AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
  本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。 AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
  論文  参考訳（メタデータ） (2021-12-14T18:56:07Z)
• Characterizing the loss landscape of variational quantum circuits [77.34726150561087]
  本稿では,VQCの損失関数のヘシアンを計算する方法を紹介する。 この情報がどのように解釈され、従来のニューラルネットワークと比較されるかを示す。
  論文  参考訳（メタデータ） (2020-08-06T17:48:12Z)
• Sparse aNETT for Solving Inverse Problems with Deep Learning [2.5234156040689237]
  逆問題を解決するためのスパース再構成フレームワーク(aNETT)を提案する。 非線形スペーシング変換として機能するオートエンコーダネットワーク$D circ E$をトレーニングする。 スパースCTでは数値的な結果が得られた。
  論文  参考訳（メタデータ） (2020-04-20T18:43:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。