論文の概要: Myosotis: structured computation for attention like layer

• arxiv url: http://arxiv.org/abs/2509.20503v1
• Date: Wed, 24 Sep 2025 19:26:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.563219
• Title: Myosotis: structured computation for attention like layer
• Title（参考訳）: ミオゾティス(Myosotis)-注目層のような構造計算
• Authors: Evgenii Egorov, Hanno Ackermann, Markus Nagel, Hong Cai,
• Abstract要約: メモリと計算のスケールを シーケンスの長さで2倍にします 両概念の利点を組み合わせた新しいアルゴリズムを提案する。 我々の考えは、木構造行列の効率的な反転に基づいている。
• 参考スコア（独自算出の注目度）: 23.18364807191502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention layers apply a sequence-to-sequence mapping whose parameters depend on the pairwise interactions of the input elements. However, without any structural assumptions, memory and compute scale quadratically with the sequence length. The two main ways to mitigate this are to introduce sparsity by ignoring a sufficient amount of pairwise interactions or to introduce recurrent dependence along them, as SSM does. Although both approaches are reasonable, they both have disadvantages. We propose a novel algorithm that combines the advantages of both concepts. Our idea is based on the efficient inversion of tree-structured matrices.
• Abstract（参考訳）: 注意層は、入力要素の対の相互作用に依存するパラメータを持つシーケンス・ツー・シーケンス・マッピングを適用する。 しかし、構造的な仮定がなければ、メモリと計算のスケールはシーケンスの長さと2倍になる。 これを緩和する2つの主要な方法は、十分なペアの相互作用を無視したり、SSMが行っているように、それらに沿った繰り返し依存を導入することで、疎結合を導入することである。 どちらのアプローチも理にかなっているが、どちらも欠点がある。 両概念の利点を組み合わせた新しいアルゴリズムを提案する。 我々の考えは、木構造行列の効率的な反転に基づいている。

関連論文リスト

• 'Memory States' from Almost Nothing: Representing and Computing in a Non-associative Algebra [0.0]
  本稿では,高次元空間における情報項目の表現と計算のための非連想的フレームワークを提案する。 これは空間コンピューティングの原理と、記憶に関する認知科学の実証的な発見と一致している。
  論文  参考訳（メタデータ） (2025-05-13T08:43:02Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Tractable Bounding of Counterfactual Queries by Knowledge Compilation [51.47174989680976]
  本稿では, パール構造因果モデルにおいて, 因果関係などの部分的特定可能なクエリのバウンダリングの問題について議論する。 最近提案された反復EMスキームは初期化パラメータをサンプリングしてそれらの境界を内部近似する。 シンボルパラメータを実際の値に置き換えた回路構造を,単一のシンボル知識コンパイルによって得られることを示す。
  論文  参考訳（メタデータ） (2023-10-05T07:10:40Z)
• Efficient Computation of Counterfactual Bounds [44.4263314637532]
  我々は,構造因果モデルのサブクラスにおけるクレダルネットのアルゴリズムを用いて,正確な反ファクト境界を計算する。 近似の精度を信頼性のある間隔で評価する。
  論文  参考訳（メタデータ） (2023-07-17T07:59:47Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Integrating Dependency Tree Into Self-attention for Sentence Representation [9.676884071651205]
  本稿では,自己認識機構と協調して機能するリレーショナルアテンション機構を適用したDependency-Transformerを提案する。 スコアベースの手法により、Transformerの並列化に影響を与えずに構文情報をインジェクトすることに成功した。 文表現のための4つのタスクにおいて、我々のモデルは最先端の手法よりも優れているか、あるいは同等である。
  論文  参考訳（メタデータ） (2022-03-11T13:44:41Z)
• Temporally-Consistent Surface Reconstruction using Metrically-Consistent Atlases [131.50372468579067]
  そこで本稿では,時間変化点雲列から時間一貫性のある面列を復元する手法を提案する。 我々は、再構成された表面をニューラルネットワークによって計算されたアトラスとして表現し、フレーム間の対応性を確立することができる。 当社のアプローチは、いくつかの挑戦的なデータセットにおいて、最先端のものよりも優れています。
  論文  参考訳（メタデータ） (2021-11-12T17:48:25Z)
• Learning Binary Decision Trees by Argmin Differentiation [34.9154848754842]
  ダウンストリームタスクのためにデータを分割するバイナリ決定木を学びます。 離散パラメータの混合整数プログラムを緩和する。 我々は、前方と後方のパスを効率的に計算するアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2020-10-09T15:11:28Z)
• Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
  ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。 ラグランジアン分解に基づく新しい手法を提案する。 ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2020-02-24T17:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。