論文の概要: Mode-locking Theory for Long-Range Interaction in Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2303.05695v1
• Date: Fri, 10 Mar 2023 04:23:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-13 16:07:00.664375
• Title: Mode-locking Theory for Long-Range Interaction in Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークにおける長距離相互作用のモードロック理論
• Authors: Xiuxiu Bai, Shuaishuai Zhao, Yao Gao, Zhe Liu
• Abstract要約: ロングレンジインタラクション(Long-range interaction)とは、画像内の離れた特徴点やブロック間の依存関係をモデリングすることを指す。 波動間の位相・波長関係を制約するメカニズムとしてモードロック理論を提案する。 この理論は、モードロックパターンをモデルに統合し、ロバスト性を高める。
• 参考スコア（独自算出の注目度）: 10.962975450585079
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual long-range interaction refers to modeling dependencies between distant feature points or blocks within an image, which can significantly enhance the model's robustness. Both CNN and Transformer can establish long-range interactions through layering and patch calculations. However, the underlying mechanism of long-range interaction in visual space remains unclear. We propose the mode-locking theory as the underlying mechanism, which constrains the phase and wavelength relationship between waves to achieve mode-locked interference waveform. We verify this theory through simulation experiments and demonstrate the mode-locking pattern in real-world scene models. Our proposed theory of long-range interaction provides a comprehensive understanding of the mechanism behind this phenomenon in artificial neural networks. This theory can inspire the integration of the mode-locking pattern into models to enhance their robustness.
• Abstract（参考訳）: 視覚的な長距離インタラクションとは、画像内の離れた特徴点やブロック間の依存関係をモデリングすることであり、モデルの堅牢性を大幅に向上させる。 CNNとTransformerはどちらも階層化とパッチ計算によって長距離インタラクションを確立することができる。 しかし、視覚空間における長距離相互作用のメカニズムはいまだ不明である。 モード同期干渉波形を実現するために,波間の位相・波長関係を拘束するメカニズムとしてモード同期理論を提案する。 本理論をシミュレーション実験により検証し,実世界シーンモデルにおけるモードロックパターンを実証する。 提案する長距離相互作用理論は,ニューラルネットワークにおけるこの現象のメカニズムを包括的に理解する。 この理論は、モードロックパターンをモデルに統合し、ロバスト性を高める。

関連論文リスト

• Many-body tunneling in a double-well potential [0.0]
  本稿では,多体システムにおけるワニエ関数の評価の新しいアプローチを提案する。 非標準のハバード項に対処し、多体力学にそれらの重要な影響を実証する。 この発見は、ツイスト二層グラフェンおよび金属絶縁体転移における超伝導などの現象に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-09-06T14:36:31Z)
• Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
  本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。 ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。 このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
  論文  参考訳（メタデータ） (2024-05-24T17:19:57Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• Persistent-Transient Duality: A Multi-mechanism Approach for Modeling Human-Object Interaction [58.67761673662716]
  人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。 人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。 本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-07-24T12:21:33Z)
• ModeRNN: Harnessing Spatiotemporal Mode Collapse in Unsupervised Predictive Learning [75.2748374360642]
  そこで本研究では,繰り返し状態間の隠れ構造表現を学習するための新しい手法であるModeRNNを提案する。 データセット全体にわたって、異なるモードがスロットの混合に対して異なるレスポンスをもたらすため、ModeRNNが構造化された表現を構築する能力が向上する。
  論文  参考訳（メタデータ） (2021-10-08T03:47:54Z)
• Qubit-photon bound states in topological waveguides with long-range hoppings [62.997667081978825]
  フォトニックバンドギャップ材料と相互作用する量子エミッタは、クビット光子境界状態の出現につながる。 異なる位相におけるバルクモードとエミッタが重なり合うとき, クビット光子境界状態の特徴について検討した。 異なる位相相に現れるエッジモードに対するエミッタの結合について考察する。
  論文  参考訳（メタデータ） (2021-05-26T10:57:21Z)
• Convolutions for Spatial Interaction Modeling [9.408751013132624]
  自律走行車周辺におけるアクターの移動予測における空間相互作用モデリングの問題点について考察する。 我々は畳み込みを再検討し,低レイテンシで空間相互作用をモデル化する上で,グラフネットワークと同等のパフォーマンスを実証できることを示した。
  論文  参考訳（メタデータ） (2021-04-15T00:41:30Z)
• Spreading of Correlations and Entanglement in the Long-Range Transverse Ising Chain [0.0]
  長距離相互作用は非相対論的量子モデルにおける因果関係の形式を可能にする。 非ユニバーサル力学指数を特徴とする因果関係の弱い形態が出現することを示す。 我々の結果は、長距離相互作用格子モデルにおける情報の伝播に光を当てた。
  論文  参考訳（メタデータ） (2020-11-23T09:30:06Z)
• Haar Wavelet based Block Autoregressive Flows for Trajectories [129.37479472754083]
  歩行者等の軌道予測は,自律型エージェントの性能向上に不可欠である。 本稿では分割結合を利用した新しいハールウェーブレットに基づくブロック自己回帰モデルを提案する。 実世界の2つのデータセット上で、多種多様な正確な軌跡を生成するアプローチの利点について説明する。
  論文  参考訳（メタデータ） (2020-09-21T13:57:10Z)
• Dynamic Relational Inference in Multi-Agent Trajectories [15.602689376767664]
  マルチエージェント軌道からの相互作用の推論は、物理学、ビジョン、ロボット工学に広く応用されている。 NRIは、複雑な力学における関係を、監督なしで推論できる深い生成モデルである。 我々はDYnamic Multi-Agent Relational Inference (DYARI)モデル(Dynamic Multi-Agent Relational Inference, DYnamic Multi-Agent Relational Inference, DYARI)と呼ばれる動的関係を推論できるNRIの拡張を提案する。
  論文  参考訳（メタデータ） (2020-07-16T19:15:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。