論文の概要: On Lexical Invariance on Multisets and Graphs
- arxiv url: http://arxiv.org/abs/2409.14179v1
- Date: Sat, 21 Sep 2024 15:52:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 23:48:26.029158
- Title: On Lexical Invariance on Multisets and Graphs
- Title（参考訳）: 多重集合とグラフ上の語彙不変性について
- Authors: Muhan Zhang,
- Abstract要約: 我々は、多重集合とグラフの媒質を用いて、語彙不変性と呼ばれる新しい問題を研究する。
本稿では,入力語彙空間に適用された任意の射影変換に対して関数の出力が不変となる,より困難な設定について検討する。
- 参考スコア（独自算出の注目度）: 25.75678339426731
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this draft, we study a novel problem, called lexical invariance, using the medium of multisets and graphs. Traditionally in the NLP domain, lexical invariance indicates that the semantic meaning of a sentence should remain unchanged regardless of the specific lexical or word-based representation of the input. For example, ``The movie was extremely entertaining'' would have the same meaning as ``The film was very enjoyable''. In this paper, we study a more challenging setting, where the output of a function is invariant to any injective transformation applied to the input lexical space. For example, multiset {1,2,3,2} is equivalent to multiset {a,b,c,b} if we specify an injective transformation that maps 1 to a, 2 to b and 3 to c. We study the sufficient and necessary conditions for a most expressive lexical invariant (and permutation invariant) function on multisets and graphs, and proves that for multisets, the function must have a form that only takes the multiset of counts of the unique elements in the original multiset as input. For example, a most expressive lexical invariant function on {a,b,c,b} must have a form that only operates on {1,1,2} (meaning that there are 1, 1, 2 unique elements corresponding to a,c,b). For graphs, we prove that a most expressive lexical invariant and permutation invariant function must have a form that only takes the adjacency matrix and a difference matrix as input, where the (i,j)th element of the difference matrix is 1 if node i and node j have the same feature and 0 otherwise. We perform synthetic experiments on TU datasets to verify our theorems.
- Abstract（参考訳）: このドラフトでは、多重集合とグラフの媒質を用いて、語彙不変性と呼ばれる新しい問題を研究する。
伝統的に、NLP領域では、語彙的不変性は、入力の特定の語彙的表現や単語に基づく表現にかかわらず、文の意味的意味が変わらないことを示す。
例えば、『映画は非常に面白かった』は『映画はとても楽しい』』と同じ意味を持つ。
本稿では,入力語彙空間に適用された任意の射影変換に対して関数の出力が不変となる,より困難な設定について検討する。
例えば、multiset {1,2,3,2} が multiset {a,b,c,b} と同値であるとは、1 を a, 2 から b, 3 に写像する射影変換を指定した場合である。
多重集合とグラフ上で最も表現力のある語彙不変量(および置換不変量)関数の十分かつ必要な条件について検討し、多重集合に対して、関数は入力として元の多重集合内の一意な要素の数え上げだけを乗算する形式を持つ必要があることを証明する。
例えば、 {a,b,c,b} 上の最も表現力のある語彙不変函数は {1,1,2} 上でのみ作用する形式を持つ必要がある(つまり a,c,b に対応する 1, 1, 2 個のユニークな元が存在する)。
グラフの場合、最も表現力のある語彙不変かつ置換不変関数は、隣接行列と差分行列のみを入力とする形式でなければならないことを証明し、その差分行列の (i,j) 番目の要素は、ノード i とノード j が同じ特徴を持ち、そうでなければ 0 である。
TUデータセットの合成実験を行い、定理の検証を行う。
関連論文リスト
- Knowledge Graph Embedding by Normalizing Flows [26.732799849307316]
知識グラフ埋め込み(KGE)の鍵は、適切な表現空間(例えば、点右ユークリッド空間と複素ベクトル空間)を選択することである。
グループ理論の観点から,KGE への埋め込みの統一的な視点を提案し,不確実性を導入する。
論文 参考訳（メタデータ） (2024-09-30T06:04:34Z) - Learning functions on symmetric matrices and point clouds via lightweight invariant features [26.619014249559942]
本稿では、置換の作用に関して不変な対称行列上の関数の機械学習の定式化について述べる。
これらの不変性は、測度ゼロ集合を除いて対称行列のすべての異なる軌道を分離できることを示す。
固定次元の点雲に対して、不変な特徴の数は、表現性を失うことなく、一般に減少することができることを証明する。
論文 参考訳（メタデータ） (2024-05-13T18:24:03Z) - Universal Representation of Permutation-Invariant Functions on Vectors
and Tensors [11.345796608258434]
我々の研究の主な対象は、様々な大きさの入力に対する多元関数、すなわち置換不変関数である。
citezaheer 2017deepによって提案されたDeep Setsは、和分解可能なモデルを通じてスカラー上の連続的多重集合関数の指数表現を提供する。
普遍表現は連続かつ不連続な多重集合函数に対して保証されるが、潜在空間次元は$O(ND)$である。
論文 参考訳（メタデータ） (2023-10-20T22:00:59Z) - Polynomial Width is Sufficient for Set Representation with
High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。
a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文 参考訳（メタデータ） (2023-07-08T16:00:59Z) - Neural Injective Functions for Multisets, Measures and Graphs via a
Finite Witness Theorem [4.416503115535553]
インジェクティブ・マルチセット関数は、乗算やグラフにおける機械学習の理論において重要な役割を果たす。
しかし、理論上考慮される証明可能な射影的多重集合函数と実際に考慮されるものの間にはギャップが残っている。
インジェクティブ・マルチセット関数のモーメントをニューラル・マルチ関数とみなすことはできない。
論文 参考訳（メタデータ） (2023-06-10T21:55:28Z) - Lexinvariant Language Models [84.2829117441298]
離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある
我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。
十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
論文 参考訳（メタデータ） (2023-05-24T19:10:46Z) - Low Dimensional Invariant Embeddings for Universal Geometric Learning [6.405957390409045]
本稿では、適切な群作用に不変で、どの軌道を分離するかという、不変量:$D$次元領域上の写像について研究する。
この研究の動機は、同変ニューラルネットワークアーキテクチャの普遍性を証明するために不変量を分離することの有用性にある。
論文 参考訳（メタデータ） (2022-05-05T22:56:19Z) - Permutation Equivariant Generative Adversarial Networks for Graphs [72.20409648915398]
GANと同変関数に依存する3段階モデルである3G-GANを提案する。
我々は,探索実験を奨励し,解決すべき課題について議論する。
論文 参考訳（メタデータ） (2021-12-07T10:37:49Z) - A Practical Method for Constructing Equivariant Multilayer Perceptrons
for Arbitrary Matrix Groups [115.58550697886987]
行列群の同変層を解くための完全一般的なアルゴリズムを提供する。
他作品からのソリューションを特殊ケースとして回収するだけでなく、これまで取り組んだことのない複数のグループと等価な多層パーセプトロンを構築します。
提案手法は, 粒子物理学および力学系への応用により, 非同変基底線より優れる。
論文 参考訳（メタデータ） (2021-04-19T17:21:54Z) - Infinite Feature Selection: A Graph-based Feature Filtering Approach [78.63188057505012]
グラフ内の経路として特徴のサブセットを考慮したフィルタリング機能選択フレームワークを提案する。
無限に進むことで、選択プロセスの計算複雑性を制限できる。
Inf-FSはほとんどどんな状況でも、つまり、保持するフィーチャの数が優先順位に固定されているときに、より良く振る舞うことを示す。
論文 参考訳（メタデータ） (2020-06-15T07:20:40Z) - Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。
テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
論文 参考訳（メタデータ） (2020-03-18T13:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。