論文の概要: "You are grounded!": Latent Name Artifacts in Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2004.03012v2
• Date: Tue, 15 Sep 2020 18:45:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 06:45:42.933555
• Title: "You are grounded!": Latent Name Artifacts in Pre-trained Language Models
• Title（参考訳）: 『あなたは土台にいる!』:事前訓練された言語モデルにおける潜在名前アーティファクト
• Authors: Vered Shwartz, Rachel Rudinger, and Oyvind Tafjord
• Abstract要約: 与えられた名前の表現に関連するアーティファクトに焦点を当てる。 いくつかの文脈では役立つが、接地は不特定または不適切な文脈でも起こる。 異なるコーパスで追加の事前訓練は、このバイアスを軽減する可能性がある。
• 参考スコア（独自算出の注目度）: 23.691704597855768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (LMs) may perpetuate biases originating in their training corpus to downstream models. We focus on artifacts associated with the representation of given names (e.g., Donald), which, depending on the corpus, may be associated with specific entities, as indicated by next token prediction (e.g., Trump). While helpful in some contexts, grounding happens also in under-specified or inappropriate contexts. For example, endings generated for `Donald is a' substantially differ from those of other names, and often have more-than-average negative sentiment. We demonstrate the potential effect on downstream tasks with reading comprehension probes where name perturbation changes the model answers. As a silver lining, our experiments suggest that additional pre-training on different corpora may mitigate this bias.
• Abstract（参考訳）: 事前学習言語モデル(LM)は、トレーニングコーパスから下流モデルへのバイアスを持続させる可能性がある。 私たちは、次のトークン予測(例えば、トランプ)で示されるように、コーパスによって特定のエンティティに関連付けられる可能性がある所定の名前(例えばドナルド)の表現に関連するアーティファクトに焦点を当てます。 いくつかの文脈では役立つが、接地は不特定または不適切な文脈でも起こる。 例えば、'Donald is a'の語尾は他の名前の語尾とは大きく異なり、しばしば平均的な否定的な感情を持つ。 名前の摂動がモデルの答えを変えるような理解プローブを読み取ることで、下流タスクに潜在的な効果を示す。 銀の裏打ちとして、異なるコーパスで追加の事前訓練を行うことで、このバイアスが軽減される可能性が示唆された。

関連論文リスト

• A Study of Nationality Bias in Names and Perplexity using Off-the-Shelf Affect-related Tweet Classifiers [0.0]
  バイアス検出のためにテンプレートや特定のデータセットに頼るのではなく、ターゲットドメインデータに小さな摂動を持つ対実例を作成します。 感情,感情,ヘイトスピーチなどの主観的分析に広く用いられている分類器について,本研究の結果は,ある国で話されている言語に関する肯定的なバイアスを示す。
  論文  参考訳（メタデータ） (2024-07-01T22:17:17Z)
• Meanings and Feelings of Large Language Models: Observability of Latent States in Generative AI [65.04274914674771]
  アメリカ心理学会(APA)によると、現在のLarge Language Models(LLM)は「フィーリング」ができない。 我々の分析は、モデルがユーザに見えない非自明な計算を実行できるようにする可能性のある設計に光を当てている。
  論文  参考訳（メタデータ） (2024-05-22T23:18:58Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• Multicultural Name Recognition For Previously Unseen Names [65.268245109828]
  本論文は、人名の認識を改善することを目的としており、それは、誰かが生まれたり、名前を変えたりする際にも、成長できる多様なカテゴリーである。 私は103か国の名前を見て、モデルが異なる文化の名前でどれだけうまく機能するかを比較します。 文字入力と単語入力を組み合わせたモデルの方が単語のみのモデルより優れており,従来のNERモデルと比較して精度が向上する可能性がある。
  論文  参考訳（メタデータ） (2024-01-23T17:58:38Z)
• Hypernymization of named entity-rich captions for grounding-based multi-modal pretraining [36.75629570208193]
  本稿では,複数モーダルモデルの事前学習のための名前付きエンティティを扱う方法として,ハイパニミゼーションについて検討する。 ハイパニミゼーション後の対象物に対する事前学習性能の改善を報告した。 オープンボキャブラリ検出におけるハイパーネーミングの可能性を,特にトレーニング中に見られないクラスで示す。
  論文  参考訳（メタデータ） (2023-04-25T20:17:40Z)
• Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models [91.3755431537592]
  構成的・非構成的句を表現することは言語理解にとって重要である。 まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。 意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
  論文  参考訳（メタデータ） (2022-10-07T14:21:30Z)
• Do Trajectories Encode Verb Meaning? [22.409307683247967]
  接地言語モデルは、名詞や形容詞などの具体的なカテゴリーを、画像やビデオを通じて世界に接続することを学ぶ。 本稿では,対象物の位置と回転が自然に意味論的にエンコードされる範囲について検討する。 トラジェクトリはいくつかの動詞(例えば転落)と相関し、自己教師付き事前学習による追加抽象は、動詞の意味のニュアンス的な違いをさらに捉えることができる。
  論文  参考訳（メタデータ） (2022-06-23T19:57:16Z)
• How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
  本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。 実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-22T05:04:41Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• An Analysis of the Utility of Explicit Negative Examples to Improve the Syntactic Abilities of Neural Language Models [32.183409062294466]
  ニューラルネットワークモデルのトレーニングにおいて、明示的なネガティブな例の有用性について検討する。 直接学習の合図があっても、モデルはオブジェクト相対的な節をまたいだ合意の解決に苦しむ。
  論文  参考訳（メタデータ） (2020-04-06T07:47:34Z)
• Humpty Dumpty: Controlling Word Meanings via Corpus Poisoning [29.181547214915238]
  埋め込み空間における単語の位置を変更することで、攻撃者が新しい単語や既存の単語の「意味」を制御できることが示される。 埋め込みに対する攻撃は、さまざまな下流タスクに影響を与える可能性がある。
  論文  参考訳（メタデータ） (2020-01-14T17:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。