論文の概要: Relational inductive biases on attention mechanisms

• arxiv url: http://arxiv.org/abs/2507.04117v1
• Date: Sat, 05 Jul 2025 17:46:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.02266
• Title: Relational inductive biases on attention mechanisms
• Title（参考訳）: 注意機構における関係帰納バイアス
• Authors: Víctor Mijangos, Ximena Gutierrez-Vasques, Verónica E. Arriola, Ulises Rodríguez-Domínguez, Alexis Cervantes, José Luis Almanzara,
• Abstract要約: 我々は、注意機構に存在する関係バイアスの特徴付けに重点を置いている。 異なる注意層は、入力データに仮定する基礎となる関係によって特徴づけられることを示す。
• 参考スコア（独自算出の注目度）: 1.1545092788508224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inductive learning aims to construct general models from specific examples, guided by biases that influence hypothesis selection and determine generalization capacity. In this work, we focus on characterizing the relational inductive biases present in attention mechanisms, understood as assumptions about the underlying relationships between data elements. From the perspective of geometric deep learning, we analyze the most common attention mechanisms in terms of their equivariance properties with respect to permutation subgroups, which allows us to propose a classification based on their relational biases. Under this perspective, we show that different attention layers are characterized by the underlying relationships they assume on the input data.
• Abstract（参考訳）: 帰納学習は、仮説の選択に影響を及ぼし、一般化能力を決定するバイアスによって導かれる特定の例から一般的なモデルを構築することを目的としている。 本研究では,データ要素間の関係を前提とした仮定として,注意機構に存在する関係帰納的バイアスを特徴づけることに焦点をあてる。 幾何学的深層学習の観点から、置換部分群に対する等値性の観点から最も一般的な注意機構を分析し、それらの関係バイアスに基づく分類を提案する。 この観点から、異なる注意層は、入力データに仮定する基礎となる関係によって特徴づけられることを示す。

関連論文リスト

• On the Anatomy of Attention [0.0]
  本稿では、機械学習モデルについて体系的に関連付け、推論するために、カテゴリ理論図式形式を導入する。 我々の図は直感的にアーキテクチャを提示するが、重要な詳細を欠くことなく、モデル間の自然な関係はグラフィカルな変換によって捉えられる。
  論文  参考訳（メタデータ） (2024-07-02T16:50:26Z)
• On Understanding Attention-Based In-Context Learning for Categorical Data [49.40350941996942]
  我々は,アテンションブロックで構成されるネットワークを開発し,各ブロックに自己注意層を付加し,その後にクロスアテンション層と関連するスキップ接続を付加する。 このモデルは、カテゴリー的観察を伴う文脈内推論のための多段階機能的GD推論を正確に行うことができる。
  論文  参考訳（メタデータ） (2024-05-27T15:03:21Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Properties from Mechanisms: An Equivariance Perspective on Identifiable Representation Learning [79.4957965474334]
  教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。 この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。 我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:04:08Z)
• Distinguishing rule- and exemplar-based generalization in learning systems [10.396761067379195]
  特徴レベルバイアスと例え-vs-ルールバイアスの2つの異なる帰納バイアスについて検討した。 ほとんどの標準ニューラルネットワークモデルは、模範に基づく外挿に対する正当性を持っている。 データ拡張、公平性、体系的一般化に関する研究において、これらの発見がもたらす意味について論じる。
  論文  参考訳（メタデータ） (2021-10-08T18:37:59Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。