論文の概要: What do Transformers Know about Government?

• arxiv url: http://arxiv.org/abs/2404.14270v1
• Date: Mon, 22 Apr 2024 15:15:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 13:37:25.060059
• Title: What do Transformers Know about Government?
• Title（参考訳）: トランスフォーマーは政府について何を知っているのか?
• Authors: Jue Hou, Anisia Katinskaia, Lari Kotilainen, Sathianpong Trangcasanchai, Anh-Duc Vu, Roman Yangarber,
• Abstract要約: 特に,BERTが文中の構成要素間の政府関係をエンコードする方法について検討する。 我々の実験は、政府に関する情報がトランスフォーマーのすべての層にエンコードされていることを示しているが、主にモデルの初期段階にある。 私たちは、実験で言語における数千のレムマに関する政府関係を定義するデータセットであるGovernment Bankをリリースします。
• 参考スコア（独自算出の注目度）: 0.5057850174013127
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper investigates what insights about linguistic features and what knowledge about the structure of natural language can be obtained from the encodings in transformer language models.In particular, we explore how BERT encodes the government relation between constituents in a sentence. We use several probing classifiers, and data from two morphologically rich languages. Our experiments show that information about government is encoded across all transformer layers, but predominantly in the early layers of the model. We find that, for both languages, a small number of attention heads encode enough information about the government relations to enable us to train a classifier capable of discovering new, previously unknown types of government, never seen in the training data. Currently, data is lacking for the research community working on grammatical constructions, and government in particular. We release the Government Bank -- a dataset defining the government relations for thousands of lemmas in the languages in our experiments.
• Abstract（参考訳）: 本稿では,トランスフォーマー言語モデルにおけるエンコーディングから,言語の特徴と自然言語の構造に関する知識がどのような意味を持つのかを考察し,特に文中の構成要素間の政府関係をBERTでエンコードする方法を考察する。 いくつかの探索分類器と2つの形態学的にリッチな言語からのデータを使用します。 我々の実験は、政府に関する情報がトランスフォーマーのすべての層にエンコードされていることを示しているが、主にモデルの初期段階にある。 どちらの言語も、官庁関係に関する十分な情報をコード化して、これまで知られていなかった新しいタイプの政府を発見できる分類器の訓練を可能にしている。 現在、文法的な構造に取り組む研究コミュニティ、特に政府にはデータが不足している。 私たちは、実験で言語における数千のレムマに関する政府関係を定義するデータセットであるGovernment Bankをリリースします。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Tracking linguistic information in transformer-based sentence embeddings through targeted sparsification [1.6021932740447968]
  トランスフォーマーモデルの解析により、テキスト入力から様々な言語情報をエンコードしていることが示されている。 文埋め込みにおいて,チャンク(特に名詞,動詞,前置詞句)に関する情報がどの程度に局所化できるかをテストする。 以上の結果から,これらの情報は文の埋め込み全体に分散するのではなく,特定の領域にエンコードされていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-25T15:27:08Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
  本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
  論文  参考訳（メタデータ） (2022-07-01T17:24:11Z)
• Finding patterns in Knowledge Attribution for Transformers [1.52292571922932]
  実験には12層多言語BERTモデルを用いる。 事実的知識の大部分は,ネットワークの中間層と上位層に起因している,と我々は考えている。 文法的知識に対する帰属スキームを適用すると、文法的知識は事実的知識よりもニューロン間ではるかに分散していることが分かる。
  論文  参考訳（メタデータ） (2022-05-03T08:30:51Z)
• Metaphors in Pre-Trained Language Models: Probing and Generalization Across Datasets and Languages [6.7126373378083715]
  大規模事前学習言語モデル(PLM)は、NLPシステムに有用な比喩的知識を符号化する。 本稿では,複数のメタファ検出データセットと4言語について研究する。 実験の結果,PLMにおける文脈表現はメタファー的知識をコード化しており,その大部分は中層にあることが示唆された。
  論文  参考訳（メタデータ） (2022-03-26T19:05:24Z)
• Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models [32.27333420000134]
  ニューラルネットワークエンコーダが自然言語処理にどのような構造的知識を伝達できるかを考察する。 我々は、自然言語を模倣する構造的特性を持つ人工言語を設計し、データ上にエンコーダを事前訓練し、そのエンコーダが自然言語の下流タスクにどれだけの性能を示すかを確認する。
  論文  参考訳（メタデータ） (2022-03-19T13:29:48Z)
• Improving Sentiment Analysis over non-English Tweets using Multilingual Transformers and Automatic Translation for Data-Augmentation [77.69102711230248]
  我々は、英語のつぶやきを事前学習し、自動翻訳を用いてデータ拡張を適用して非英語の言語に適応する多言語トランスフォーマーモデルを提案する。 我々のフランス語、スペイン語、ドイツ語、イタリア語での実験は、この手法が非英語のツイートの小さなコーパスよりも、トランスフォーマーの結果を改善する効果的な方法であることを示唆している。
  論文  参考訳（メタデータ） (2020-10-07T15:44:55Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• TransOMCS: From Linguistic Graphs to Commonsense Knowledge [109.36596335148091]
  従来のコモンセンス知識を取得するには、手間と費用のかかる人間のアノテーションが必要である。 我々は,言語パターンから得られた安価な知識を高価なコモンセンス知識に移行することを目的として,言語グラフからコモンセンス知識をマイニングする実践的な方法を探究する。 実験により,言語知識のコモンセンス知識への伝達可能性や,量,新規性,品質の観点から提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-05-01T04:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。