論文の概要: "You are grounded!": Latent Name Artifacts in Pre-trained Language
Models
- arxiv url: http://arxiv.org/abs/2004.03012v2
- Date: Tue, 15 Sep 2020 18:45:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 06:45:42.933555
- Title: "You are grounded!": Latent Name Artifacts in Pre-trained Language
Models
- Title(参考訳): 『あなたは土台にいる!』:事前訓練された言語モデルにおける潜在名前アーティファクト
- Authors: Vered Shwartz, Rachel Rudinger, and Oyvind Tafjord
- Abstract要約: 与えられた名前の表現に関連するアーティファクトに焦点を当てる。
いくつかの文脈では役立つが、接地は不特定または不適切な文脈でも起こる。
異なるコーパスで追加の事前訓練は、このバイアスを軽減する可能性がある。
- 参考スコア(独自算出の注目度): 23.691704597855768
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained language models (LMs) may perpetuate biases originating in their
training corpus to downstream models. We focus on artifacts associated with the
representation of given names (e.g., Donald), which, depending on the corpus,
may be associated with specific entities, as indicated by next token prediction
(e.g., Trump). While helpful in some contexts, grounding happens also in
under-specified or inappropriate contexts. For example, endings generated for
`Donald is a' substantially differ from those of other names, and often have
more-than-average negative sentiment. We demonstrate the potential effect on
downstream tasks with reading comprehension probes where name perturbation
changes the model answers. As a silver lining, our experiments suggest that
additional pre-training on different corpora may mitigate this bias.
- Abstract(参考訳): 事前学習言語モデル(LM)は、トレーニングコーパスから下流モデルへのバイアスを持続させる可能性がある。
私たちは、次のトークン予測(例えば、トランプ)で示されるように、コーパスによって特定のエンティティに関連付けられる可能性がある所定の名前(例えばドナルド)の表現に関連するアーティファクトに焦点を当てます。
いくつかの文脈では役立つが、接地は不特定または不適切な文脈でも起こる。
例えば、'Donald is a'の語尾は他の名前の語尾とは大きく異なり、しばしば平均的な否定的な感情を持つ。
名前の摂動がモデルの答えを変えるような理解プローブを読み取ることで、下流タスクに潜在的な効果を示す。
銀の裏打ちとして、異なるコーパスで追加の事前訓練を行うことで、このバイアスが軽減される可能性が示唆された。
関連論文リスト
- Mitigating Reversal Curse via Semantic-aware Permutation Training [61.216062411246064]
我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。
逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。
この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
論文 参考訳(メタデータ) (2024-03-01T18:55:20Z) - Multicultural Name Recognition For Previously Unseen Names [65.268245109828]
本論文は、人名の認識を改善することを目的としており、それは、誰かが生まれたり、名前を変えたりする際にも、成長できる多様なカテゴリーである。
私は103か国の名前を見て、モデルが異なる文化の名前でどれだけうまく機能するかを比較します。
文字入力と単語入力を組み合わせたモデルの方が単語のみのモデルより優れており,従来のNERモデルと比較して精度が向上する可能性がある。
論文 参考訳(メタデータ) (2024-01-23T17:58:38Z) - Hypernymization of named entity-rich captions for grounding-based
multi-modal pretraining [36.75629570208193]
本稿では,複数モーダルモデルの事前学習のための名前付きエンティティを扱う方法として,ハイパニミゼーションについて検討する。
ハイパニミゼーション後の対象物に対する事前学習性能の改善を報告した。
オープンボキャブラリ検出におけるハイパーネーミングの可能性を,特にトレーニング中に見られないクラスで示す。
論文 参考訳(メタデータ) (2023-04-25T20:17:40Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳(メタデータ) (2022-10-07T14:21:30Z) - Do Trajectories Encode Verb Meaning? [22.409307683247967]
接地言語モデルは、名詞や形容詞などの具体的なカテゴリーを、画像やビデオを通じて世界に接続することを学ぶ。
本稿では,対象物の位置と回転が自然に意味論的にエンコードされる範囲について検討する。
トラジェクトリはいくつかの動詞(例えば転落)と相関し、自己教師付き事前学習による追加抽象は、動詞の意味のニュアンス的な違いをさらに捉えることができる。
論文 参考訳(メタデータ) (2022-06-23T19:57:16Z) - How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial
Robustness? [121.57551065856164]
本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。
RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。
実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2021-12-22T05:04:41Z) - ALL Dolphins Are Intelligent and SOME Are Friendly: Probing BERT for
Nouns' Semantic Properties and their Prototypicality [4.915907527975786]
我々は、参照範囲を制限しない形容詞で表される英語の名詞を構成するためにBERT(Devlin et al.)を探索する。
本研究は,名詞間の関連性の強さと意味的特徴を捉える心理言語学的データセットに基づく。
そこで, BERTでは, 形容詞の意味を推論する上で必要な情報を活用することができた。
論文 参考訳(メタデータ) (2021-10-12T21:43:37Z) - Concealed Data Poisoning Attacks on NLP Models [56.794857982509455]
逆攻撃はテスト時間入力の摂動によってNLPモデル予測を変化させる。
我々は,入力に所望のトリガーフレーズが存在する場合,相手がモデル予測を制御できる新しいデータ中毒攻撃を開発した。
論文 参考訳(メタデータ) (2020-10-23T17:47:06Z) - Improving Robustness by Augmenting Training Sentences with
Predicate-Argument Structures [62.562760228942054]
データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。
本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。
特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
論文 参考訳(メタデータ) (2020-10-23T16:22:05Z) - An Analysis of the Utility of Explicit Negative Examples to Improve the
Syntactic Abilities of Neural Language Models [32.183409062294466]
ニューラルネットワークモデルのトレーニングにおいて、明示的なネガティブな例の有用性について検討する。
直接学習の合図があっても、モデルはオブジェクト相対的な節をまたいだ合意の解決に苦しむ。
論文 参考訳(メタデータ) (2020-04-06T07:47:34Z) - Humpty Dumpty: Controlling Word Meanings via Corpus Poisoning [29.181547214915238]
埋め込み空間における単語の位置を変更することで、攻撃者が新しい単語や既存の単語の「意味」を制御できることが示される。
埋め込みに対する攻撃は、さまざまな下流タスクに影響を与える可能性がある。
論文 参考訳(メタデータ) (2020-01-14T17:48:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。