論文の概要: Grammatical information in BERT sentence embeddings as two-dimensional arrays

• arxiv url: http://arxiv.org/abs/2312.09890v1
• Date: Fri, 15 Dec 2023 15:41:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 15:04:30.378381
• Title: Grammatical information in BERT sentence embeddings as two-dimensional arrays
• Title（参考訳）: BERT文埋め込みにおける二次元配列としての文法情報
• Authors: Vivi Nastase and Paola Merlo
• Abstract要約: 分散表現において,特定の文法情報にアクセス可能であるかどうかを検討する。 1次元配列として符号化された通常の文表現は規則的規則性の抽出を容易にサポートしていないが、これらのベクトルの2次元再構成により、様々な学習アーキテクチャがそのような情報にアクセスできるようになる。
• 参考スコア（独自算出の注目度）: 1.8927791081850118
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sentence embeddings induced with various transformer architectures encode much semantic and syntactic information in a distributed manner in a one-dimensional array. We investigate whether specific grammatical information can be accessed in these distributed representations. Using data from a task developed to test rule-like generalizations, our experiments on detecting subject-verb agreement yield several promising results. First, we show that while the usual sentence representations encoded as one-dimensional arrays do not easily support extraction of rule-like regularities, a two-dimensional reshaping of these vectors allows various learning architectures to access such information. Next, we show that various architectures can detect patterns in these two-dimensional reshaped sentence embeddings and successfully learn a model based on smaller amounts of simpler training data, which performs well on more complex test data. This indicates that current sentence embeddings contain information that is regularly distributed, and which can be captured when the embeddings are reshaped into higher dimensional arrays. Our results cast light on representations produced by language models and help move towards developing few-shot learning approaches.
• Abstract（参考訳）: 様々なトランスアーキテクチャで誘導される文の埋め込みは、1次元配列で分散的に多くの意味と構文情報を符号化する。 これらの分散表現において、特定の文法情報にアクセス可能であるか検討する。 ルールライクな一般化をテストするために開発されたタスクのデータを用いて,本研究では,主観的な合意を検出する実験を行い,いくつかの有望な結果を得た。 まず,1次元配列として符号化された通常の文表現は規則様規則の抽出を容易サポートしないが,これらのベクトルの2次元再構成により,様々な学習アーキテクチャがそのような情報にアクセスできるようになる。 次に,これら2次元再形文埋め込みのパターンを様々なアーキテクチャが検出し,より単純な学習データに基づくモデルの学習に成功し,より複雑なテストデータでうまく機能することを示す。 これは、現在の文埋め込みには定期的に配布される情報が含まれており、埋め込みがより高次元の配列に再構成されたときにキャプチャできることを示している。 私たちの結果は、言語モデルによって生成された表現に光を当て、少数の学習アプローチの開発に役立ちました。

関連論文リスト

• Are there identifiable structural parts in the sentence embedding whole? [1.6021932740447968]
  変圧器モデルからの文の埋め込みは固定長ベクトルで多くの言語情報を符号化する。 これらの埋め込みは、分離できる情報の重なり合う層で構成されているという仮説を探求する。 本稿では,既知のチャンク構造を持つ文と2つの言語知能データセットからなるデータセットを用いた場合について述べる。
  論文  参考訳（メタデータ） (2024-06-24T11:58:33Z)
• ComboStoc: Combinatorial Stochasticity for Diffusion Generative Models [65.82630283336051]
  拡散生成モデルの既存のトレーニングスキームにより,次元と属性の組み合わせによって区切られた空間が十分に標本化されていないことを示す。 構造を完全に活用するプロセスを構築し,ComboStocという名前でこの問題に対処する。
  論文  参考訳（メタデータ） (2024-05-22T15:23:10Z)
• Keyword Spotting Simplified: A Segmentation-Free Approach using Character Counting and CTC re-scoring [8.6134769826665]
  セグメンテーションフリーなキーワードスポッティングの最近の進歩は、この問題をオブジェクト検出パラダイムとして扱う。 本稿では,クエリ情報を含む長方形領域を見つけるために,文書画像を効率的にスキャンするセグメンテーションフリーシステムを提案する。
  論文  参考訳（メタデータ） (2023-08-07T12:11:04Z)
• Explaining Classifiers Trained on Raw Hierarchical Multiple-Instance Data [0.0]
  多くのデータソースは、構造化されたデータ交換フォーマット(例えば、XMLフォーマットの複数のセキュリティログ)の自然な形式を持っています。 階層型インスタンス学習(HMIL)のような既存の手法では、そのようなデータを生の形式で学習することができる。 これらのモデルをサブセット選択問題として扱うことにより、計算効率のよいアルゴリズムを用いて、解釈可能な説明が好ましい性質でどのように生成できるかを実証する。 我々は,グラフニューラルネットワークから導入した説明手法と比較して,桁違いの高速化と高品質な説明を行う。
  論文  参考訳（メタデータ） (2022-08-04T14:48:37Z)
• Blackbird's language matrices (BLMs): a new benchmark to investigate disentangled generalisation in neural networks [2.5567566997688034]
  ブラックバードの言語行列(BLM)は,ラヴェンの進行行列の言語的変種をテストするために開発された,新しい文法的データセットである。 このデータセットは44800の文から構成されており、現在のモデルにおける文法的合意規則の言語的熟達の調査を支援するために生成的に構築されている。 この言語タスクと、それをインスタンス化するデータは、一般化と抽象化を理解するために、新しい挑戦的なテストベッドを提供することを示す。
  論文  参考訳（メタデータ） (2022-05-22T16:51:24Z)
• Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
  我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。 まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。 次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
  論文  参考訳（メタデータ） (2021-12-31T10:03:47Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)
• Filtered Inner Product Projection for Crosslingual Embedding Alignment [28.72288652451881]
  フィルタ内積投影(FIPP)は、埋め込みを共通表現空間にマッピングする手法である。 FIPPは、ソースとターゲットの埋め込みが異なる次元である場合でも適用可能である。 提案手法は,MUSEデータセット上の既存の手法よりも,様々な言語ペアに対して優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-05T19:53:30Z)
• Two-Dimensional Semi-Nonnegative Matrix Factorization for Clustering [50.43424130281065]
  TS-NMFと呼ばれる2次元(2次元)データに対する新しい半負行列分解法を提案する。 前処理ステップで2次元データをベクトルに変換することで、データの空間情報に深刻なダメージを与える既存の手法の欠点を克服する。
  論文  参考訳（メタデータ） (2020-05-19T05:54:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。