論文の概要: Embeddings as Epistemic States: Limitations on the Use of Pooling
Operators for Accumulating Knowledge
- arxiv url: http://arxiv.org/abs/2210.05723v2
- Date: Mon, 3 Jul 2023 15:46:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 15:41:01.204567
- Title: Embeddings as Epistemic States: Limitations on the Use of Pooling
Operators for Accumulating Knowledge
- Title（参考訳）: てんかん状態としての埋め込み:知識蓄積のためのプール演算子の使用制限
- Authors: Steven Schockaert
- Abstract要約: 多くの標準的なプール演算子について、そのアイデアとどのような条件で互換性があるのかを考察し、それをエピステミック・プール原理(英語版)と呼ぶ。
これらの制約は、組込みが実際にどのように使われるかに重要な意味を持つことを示す。
この発見は、なぜグラフニューラルネットワークが推論タスクで低パフォーマンスなのかを明確化するのに役立ちます。
- 参考スコア（独自算出の注目度）: 32.26825778093724
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Various neural network architectures rely on pooling operators to aggregate
information coming from different sources. It is often implicitly assumed in
such contexts that vectors encode epistemic states, i.e. that vectors capture
the evidence that has been obtained about some properties of interest, and that
pooling these vectors yields a vector that combines this evidence. We study,
for a number of standard pooling operators, under what conditions they are
compatible with this idea, which we call the epistemic pooling principle. While
we find that all the considered pooling operators can satisfy the epistemic
pooling principle, this only holds when embeddings are sufficiently
high-dimensional and, for most pooling operators, when the embeddings satisfy
particular constraints (e.g. having non-negative coordinates). We furthermore
show that these constraints have important implications on how the embeddings
can be used in practice. In particular, we find that when the epistemic pooling
principle is satisfied, in most cases it is impossible to verify the
satisfaction of propositional formulas using linear scoring functions, with two
exceptions: (i) max-pooling with embeddings that are upper-bounded and (ii)
Hadamard pooling with non-negative embeddings. This finding helps to clarify,
among others, why Graph Neural Networks sometimes under-perform in reasoning
tasks. Finally, we also study an extension of the epistemic pooling principle
to weighted epistemic states, which are important in the context of
non-monotonic reasoning, where max-pooling emerges as the most suitable
operator.
- Abstract（参考訳）: さまざまなニューラルネットワークアーキテクチャは、異なるソースからの情報を集約するためにプールオペレータに依存している。
そのような文脈では、ベクトルがエピステミック状態を符号化する、すなわち、ベクトルが興味のある性質について得られた証拠を捉え、これらのベクトルをプールすると、この証拠を組み合わせるベクトルが得られるという暗黙的に仮定されることが多い。
多くの標準的なプール演算子に対して、このアイデアとどのような条件で互換性があるのかを考察し、それをエピステミック・プール原理(英語版)と呼ぶ。
検討された全てのプール作用素は、エピステミック・プールの原理を満たすことができるが、これは埋め込みが十分に高次元であり、ほとんどのプール作用素が特定の制約を満たすときのみ成り立つ(例えば、非負座標を持つ)。
さらに,これらの制約は組込みを実際にどのように使用できるかに重要な意味を持つことを示した。
特に、疫学的なプール原理が満たされると、ほとんどの場合、線形スコアリング関数を用いた命題公式の満足度を2つの例外で検証することは不可能である。
(i)上界および上界の埋め込みによる最大プール
(II)非負の埋め込みを伴うアダマールプール
この発見は、なぜグラフニューラルネットワークが推論タスクで低パフォーマンスなのかを明確化するのに役立つ。
最後に, 最大プーリングが最適な演算子として現れる非単調推論の文脈において重要な, 重み付けされたてんかん状態に対するてんかんプールの原理の拡張についても検討する。
関連論文リスト
- Local-Data-Hiding and Causal Inseparability: Probing Indefinite Causal Structures with Cryptographic Primitives [0.0]
近年の研究では、新しい情報プリミティブとして現れる因果構造における不確定性の可能性が示唆されている。
本研究では,不定因果構造に埋め込まれたエージェントが,特定の因果的背景下で動作しているエージェントよりも優れていることを示す。
本稿では、LBHタスクにそれぞれ役に立たない2つの量子プロセスが一緒に使われる際に有用となる、興味深いスーパーアクティベーション現象を報告する。
論文 参考訳（メタデータ） (2024-07-30T04:54:03Z) - Identifiable Latent Neural Causal Models [82.14087963690561]
因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。
因果表現の識別可能性に寄与する分布シフトのタイプを決定する。
本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
論文 参考訳（メタデータ） (2024-03-23T04:13:55Z) - Remarks on the quasi-position representation in models of generalized
uncertainty principle [0.0]
このノートは1次元モデルの研究で頻繁に使われる準位表現の特定の側面を解明することを目的としている。
最近の主張とは対照的に、(i)準ポジション作用素は非エルミート的でも物理的意義を持つことができ、(ii)準ポジション表現において、位置に関連する作用素は準ポジション座標上の微分作用素として振る舞う。
論文 参考訳（メタデータ） (2023-06-20T11:46:56Z) - Globally injective and bijective neural operators [3.215443216699947]
ネットワークは本質的に無限次元の観点から関数空間間の演算子を学習することを示す。
本研究では,これらのネットワークで学習した演算子が射影的かつ全射的である場合の結果を示す。
論文 参考訳（メタデータ） (2023-06-06T19:35:09Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳（メタデータ） (2023-06-04T02:32:12Z) - The expressive power of pooling in Graph Neural Networks [6.5268245109828005]
グラフプーリングがグラフニューラルネットワーク(GNN)の表現性に与える影響について検討する。
プーリング演算子がMP層の表現力を完全に維持できる十分な条件を導出する。
本稿では,プール層を備えたGNNの表現力を実証的に検証するための実験装置を提案する。
論文 参考訳（メタデータ） (2023-04-04T07:03:08Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:02:09Z) - Convergence Rates for Learning Linear Operators from Noisy Data [6.4423565043274795]
本研究では,空間上の線形演算子を学習する逆問題について,ランダムな入力データに対する雑音の多い点評価から検討する。
ボヒナーノルムの族に対する後部収縮速度は、推定誤差よりも無限小の傾向にあるため確立する。
これらの収束速度は、有界あるいはコンパクトな作用素の学習と比較して線形作用素の学習の難しさを強調し、定量化する。
論文 参考訳（メタデータ） (2021-08-27T22:09:53Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳（メタデータ） (2021-04-12T18:50:11Z) - Causal Expectation-Maximisation [70.45873402967297]
ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。
我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。
我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
論文 参考訳（メタデータ） (2020-11-04T10:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。