論文の概要: Emergent Linguistic Structures in Neural Networks are Fragile
- arxiv url: http://arxiv.org/abs/2210.17406v1
- Date: Mon, 31 Oct 2022 15:43:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 15:20:27.228871
- Title: Emergent Linguistic Structures in Neural Networks are Fragile
- Title(参考訳): ニューラルネットワークの創発的言語構造は脆弱である
- Authors: Emanuele La Malfa and Matthew Wicker and Marta Kiatkowska
- Abstract要約: 大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すことが報告されている。
本稿では,探索課題を用いた言語表現の堅牢性を評価する枠組みを提案する。
- 参考スコア(独自算出の注目度): 5.715103211247915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have been reported to have strong performance on
natural language processing tasks. However, performance metrics such as
accuracy do not measure the quality of the model in terms of its ability to
robustly represent complex linguistic structure. Further, the sheer size of
LLMs makes it difficult to analyse them using standard robustness evaluation
methods. In this work, we propose a framework to evaluate the robustness of
linguistic representations using probing tasks. We argue that a robust
linguistic model is one that is able to robustly and efficiently represent
complex syntactic structure underlying the data distribution and propose
appropriate robustness measures. We leverage recent advances in extracting
emergent linguistic constructs from LLMs and apply syntax-preserving
perturbations to test the stability of these constructs in order to better
understand the representations learned by LLMs. Empirically, we study the
performance of four LLMs across six different corpora on the proposed
robustness measures. We provide evidence that context-free representation
(e.g., GloVE) are in some cases competitive with context-dependent
representations from modern LLMs (e.g., BERT), yet equally brittle to
syntax-preserving manipulations. Emergent syntactic representations in neural
networks are brittle, thus our work poses the attention on the risk of
comparing such structures to those that are object of a long lasting debate in
linguistics.
- Abstract(参考訳): 大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すことが報告されている。
しかし、精度などのパフォーマンス指標は、複雑な言語構造を頑健に表現する能力の観点から、モデルの品質を測るものではない。
さらに, LLM の重大化により, 標準的なロバスト性評価手法による解析が困難になる。
本研究では,探索課題を用いた言語表現の堅牢性を評価する枠組みを提案する。
我々は、ロバスト言語モデルは、データ分布の根底にある複雑な構文構造を堅牢かつ効率的に表現できるものであり、適切なロバスト性対策を提案する。
llmsから創発的な言語構造を抽出し,構文保存摂動を用いてこれらの構成物の安定性を検証し,llmで学習した表現をよりよく理解する。
実験では,提案するロバスト性尺度における6種類のコーパスにおける4つのllmの性能について検討した。
文脈に依存しない表現(GloVEなど)は、現代LLM(例えばBERT)の文脈依存表現と競合する場合もあるが、構文保存操作と同等に脆弱であることを示す。
ニューラルネットワークにおける創発的構文表現は不安定であり,このような構造を言語学において長く議論されてきたものと比較するリスクに注目する。
関連論文リスト
- Punctuation Restoration Improves Structure Understanding without
Supervision [6.4736137270915215]
学習目的としての句読点復元は,構造関連タスクにおける内外分布性能を向上させることを示す。
句読解は、構造理解を改善し、自然言語のより堅牢な構造認識表現を得ることができる効果的な学習目的である。
論文 参考訳(メタデータ) (2024-02-13T11:22:52Z) - Can Large Language Models Understand Context? [17.196362853457412]
本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。
実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。
LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
論文 参考訳(メタデータ) (2024-02-01T18:55:29Z) - Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [113.72984199026094]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
生成モデルのカウンターファクトの能力を効果的に評価するために,革新的な評価指標であるLogicAware Counterfactual Scoreを提案する。
分析の結果,提案手法は人間の好みとよく一致していることがわかった。
論文 参考訳(メタデータ) (2023-11-29T08:29:54Z) - Semantic-Aware Contrastive Sentence Representation Learning with Large
Language Models [64.348539675761]
本稿では,セマンティック・アウェア・コントラッシブな文表現フレームワークであるSemCSRを提案する。
大規模言語モデル(LLM)の生成と評価機能を利用することで,高品質なNLI型コーパスを自動構築する。
論文 参考訳(メタデータ) (2023-10-17T03:21:43Z) - Constructing Word-Context-Coupled Space Aligned with Associative
Knowledge Relations for Interpretable Language Modeling [0.0]
事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。
解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。
我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
論文 参考訳(メタデータ) (2023-05-19T09:26:02Z) - Competence-Based Analysis of Language Models [24.09077801383941]
大規模で事前訓練されたニューラルネットワークモデル(LLM)は、入力やアプリケーションコンテキストの小さな変更に対して、驚くほど脆弱である。
当社の枠組みであるCALMは,LCM能力の最初の定量的尺度である。
我々は,勾配に基づく対向攻撃を用いた因果探究介入を行うための新しい手法を開発した。
論文 参考訳(メタデータ) (2023-03-01T08:53:36Z) - On Robustness of Prompt-based Semantic Parsing with Large Pre-trained
Language Model: An Empirical Study on Codex [48.588772371355816]
本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。
この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
論文 参考訳(メタデータ) (2023-01-30T13:21:00Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳(メタデータ) (2021-11-04T12:59:55Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。