論文の概要: A Theoretical Study of (Hyper) Self-Attention through the Lens of Interactions: Representation, Training, Generalization
- arxiv url: http://arxiv.org/abs/2506.06179v1
- Date: Fri, 06 Jun 2025 15:44:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-09 17:28:43.538044
- Title: A Theoretical Study of (Hyper) Self-Attention through the Lens of Interactions: Representation, Training, Generalization
- Title（参考訳）: 相互作用レンズによる(超)自己意識の理論的研究:表現・訓練・一般化
- Authors: Muhammed Ustaomeroglu, Guannan Qu,
- Abstract要約: 一つの層に線形な自己アテンション(自己アテンション)が一対の相互作用を捉えた関数を効率的に表現し、学習し、一般化することができることを示す。
本分析は,学習中に観察される相互作用パターンの多様性について,最小限の仮定の下で,自己意識が相互相互作用学習者として機能することを明らかにする。
我々は、エンティティ間の異なる特徴レベルの相互作用の結合を学習するために設計された、新しいニューラルネットワークモジュールであるHyperFeatureAttentionを紹介する。
- 参考スコア（独自算出の注目度）: 6.015898117103069
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-attention has emerged as a core component of modern neural architectures, yet its theoretical underpinnings remain elusive. In this paper, we study self-attention through the lens of interacting entities, ranging from agents in multi-agent reinforcement learning to alleles in genetic sequences, and show that a single layer linear self-attention can efficiently represent, learn, and generalize functions capturing pairwise interactions, including out-of-distribution scenarios. Our analysis reveals that self-attention acts as a mutual interaction learner under minimal assumptions on the diversity of interaction patterns observed during training, thereby encompassing a wide variety of real-world domains. In addition, we validate our theoretical insights through experiments demonstrating that self-attention learns interaction functions and generalizes across both population distributions and out-of-distribution scenarios. Building on our theories, we introduce HyperFeatureAttention, a novel neural network module designed to learn couplings of different feature-level interactions between entities. Furthermore, we propose HyperAttention, a new module that extends beyond pairwise interactions to capture multi-entity dependencies, such as three-way, four-way, or general n-way interactions.
- Abstract（参考訳）: 自己注意は現代のニューラルアーキテクチャのコアコンポーネントとして現れてきたが、その理論的基盤はいまだ解明されていない。
本稿では,多エージェント強化学習のエージェントから遺伝子配列のアレルまで,相互作用する実体のレンズによる自己意識について検討し,単一層に線形な自己意識を効率よく表現し,学習し,対の相互作用を捉える機能を一般化することを示した。
本分析は,学習中に観察される相互作用パターンの多様性について最小限の仮定の下で,自己意識が相互相互作用学習者として機能することを明らかにする。
さらに, 自己意識が相互作用関数を学習し, 人口分布とアウト・オブ・ディストリビューションシナリオの両方にわたって一般化することを示す実験を通じて, 理論的知見を検証する。
これは、エンティティ間の異なる特徴レベルの相互作用の結合を学習するために設計された、新しいニューラルネットワークモジュールである。
さらに,3方向,4方向,あるいは一般的なn方向のインタラクションなどの多元性依存を捉えるために,ペアのインタラクションを超えて拡張された新しいモジュールであるHyperAttentionを提案する。
関連論文リスト
- Relation Learning and Aggregate-attention for Multi-person Motion Prediction [13.052342503276936]
多対人動作予測は、骨格構造や人間の軌道だけでなく、他者との相互作用も考慮している。
それまでの手法では、個人内の結合関係(イントラリレーション)とグループ間の相互作用(インターリレーション)は異なる種類の表現であるとしばしば見落としていた。
我々はこれらの関係を明示的にモデル化する多人数動作予測のための新しい協調フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-06T07:48:30Z) - Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
神経科学とAIの両方では、ニューロン間の'バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する、競争的な学習の形式につながることが知られている。
完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。
このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、定量化、推論など、幅広いタスクにわたるパフォーマンス改善を提供する。
論文 参考訳（メタデータ） (2024-10-17T17:47:54Z) - CREIMBO: Cross-Regional Ensemble Interactions in Multi-view Brain Observations [3.3713037259290255]
現在の分析手法は、しばしばそのようなデータの豊かさを活かさない。
CREIMBOは、グラフ駆動辞書学習を通じて、セッションごとのニューラルアンサンブルの隠れた構成を特定する。
合成データ中の真の成分を回収するCREIMBOの能力を実証する。
論文 参考訳（メタデータ） (2024-05-27T17:48:32Z) - Interactive Autonomous Navigation with Internal State Inference and
Interactivity Estimation [58.21683603243387]
本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。
これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。
提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-11-27T18:57:42Z) - Inferring Relational Potentials in Interacting Systems [56.498417950856904]
このような相互作用を発見する代替手法として、ニューラル・インタラクション・推論(NIIP)を提案する。
NIIPは観測された関係制約を尊重する軌道のサブセットに低エネルギーを割り当てる。
別々に訓練されたモデル間での相互作用の型を交換するなどの軌道操作や、軌道予測を可能にする。
論文 参考訳（メタデータ） (2023-10-23T00:44:17Z) - Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。
相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。
本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
論文 参考訳（メタデータ） (2023-06-07T15:44:53Z) - Collective Relational Inference for learning heterogeneous interactions [8.215734914005845]
本稿では,従来の手法と比較して2つの特徴を持つ関係推論の確率的手法を提案する。
提案手法を複数のベンチマークデータセットで評価し,既存の手法よりも精度良く対話型を推定できることを実証した。
全体として、提案モデルはデータ効率が高く、より小さなシステムで訓練された場合、大規模システムに対して一般化可能である。
論文 参考訳（メタデータ） (2023-04-30T19:45:04Z) - InterGen: Diffusion-based Multi-human Motion Generation under Complex Interactions [49.097973114627344]
動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。
我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。
本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
論文 参考訳（メタデータ） (2023-04-12T08:12:29Z) - Learning Heterogeneous Interaction Strengths by Trajectory Prediction
with Graph Neural Network [0.0]
地中相互作用強度を考慮せずに連続的に重み付けされた相互作用グラフを推定するための注意関係推論ネットワーク(RAIN)を提案する。
本研究では, シミュレーションされた物理系の連続的な相互作用強度を, 教師なしの方法で正確に推定できることを述べる。
論文 参考訳（メタデータ） (2022-08-28T09:13:33Z) - Learning Interaction Variables and Kernels from Observations of
Agent-Based Systems [14.240266845551488]
本稿では,エージェントの軌道に沿った状態や速度の観測を前提として,相互作用カーネルが依存する変数と相互作用カーネル自体を両立させる学習手法を提案する。
これにより、高次元観測データから次元性の呪いを避ける効果的な次元削減が得られる。
我々は,本手法の学習能力を,様々な一階対話システムに示す。
論文 参考訳（メタデータ） (2022-08-04T16:31:01Z) - Multi-Agent Imitation Learning with Copulas [102.27052968901894]
マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。
本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。
提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
論文 参考訳（メタデータ） (2021-07-10T03:49:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。