論文の概要: Language Models have a Moral Dimension
- arxiv url: http://arxiv.org/abs/2103.11790
- Date: Mon, 8 Mar 2021 16:59:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-26 07:38:18.544976
- Title: Language Models have a Moral Dimension
- Title(参考訳): 言語モデルは道徳的次元を持つ
- Authors: Patrick Schramowski, Cigdem Turan, Nico Andersen, Constantin Rothkopf,
Kristian Kersting
- Abstract要約: 近年のlms改善は社会の倫理的・道徳的価値を蓄積している。
これは、LMの有害な変性を抑制または予防するための経路を提供する。
- 参考スコア(独自算出の注目度): 13.991481870016631
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial writing is permeating our lives due to recent advances in
large-scale, transformer-based language models (LMs) such as BERT, its
variants, GPT-2/3, and others. Using them as pretrained models and fine-tuning
them for specific tasks, researchers have extended the state of the art for
many NLP tasks and shown that they not only capture linguistic knowledge but
also retain general knowledge implicitly present in the data. These and other
successes are exciting. Unfortunately, LMs trained on unfiltered text corpora
suffer from degenerate and biased behaviour. While this is well established, we
show that recent improvements of LMs also store ethical and moral values of the
society and actually bring a ``moral dimension'' to surface: the values are
capture geometrically by a direction in the embedding space, reflecting well
the agreement of phrases to social norms implicitly expressed in the training
texts. This provides a path for attenuating or even preventing toxic
degeneration in LMs. Since one can now rate the (non-)normativity of arbitrary
phrases without explicitly training the LM for this task, the moral dimension
can be used as ``moral compass'' guiding (even other) LMs towards producing
normative text, as we will show.
- Abstract(参考訳): BERTやその変種,GPT-2/3など,大規模なトランスフォーマーベース言語モデル(LM)の進歩により,人工文字は私たちの生活に浸透しています。
事前訓練されたモデルとして使用し、特定のタスクのために微調整することで、多くのNLPタスクの技術を拡張し、言語知識を捉えるだけでなく、データに暗黙的に存在する一般的な知識を保持することを示した。
これらと他の成功はエキサイティングです。
残念ながら、未フィルタリングテキストコーパスでトレーニングされたlmsは、退化と偏った振る舞いに苦しむ。
これは十分に確立されているものの、近年のLMの改良は社会の倫理的・道徳的価値を蓄積し、実際に「道徳的次元」を表面化させ、その価値は埋め込み空間の方向によって幾何学的に捉えられ、トレーニングテキストに暗黙的に表される社会規範に対する句の一致を反映している。
これは、LMの毒性変性を抑制または予防するための経路を提供する。
任意のフレーズの(非)ノルマティビティを、このタスクのためにLMを明示的に訓練することなく評価できるので、道徳的次元を'moral compass''として、(他の)LMを規範的テキストの生成に導くことができる。
関連論文リスト
- Measuring Moral Inconsistencies in Large Language Models [16.47371312298185]
大言語モデル(LLM)は、意味的に等価なプロンプトが意味的に等価な応答を生成する場合、一貫性があると考えられる。
現状のLLMでさえ、その世代では非常に不整合であり、信頼性に疑問を呈している。
本稿では,SGE (Semantic Graph Entropy) と呼ばれる新たな情報理論尺度を提案する。
論文 参考訳(メタデータ) (2024-01-26T18:05:47Z) - Moral Foundations of Large Language Models [6.6445242437134455]
道徳的基礎理論(MFT)は、人間の道徳的推論を5つの要素に分解する心理学的評価ツールである。
大規模な言語モデル(LLM)は、インターネットから収集されたデータセットに基づいて訓練されるため、そのようなコーパスに存在するバイアスを反映する可能性がある。
本稿では、MFTをレンズとして用いて、人気のあるLLMが特定の道徳的価値観に対して偏見を得たかどうかを分析する。
論文 参考訳(メタデータ) (2023-10-23T20:05:37Z) - Denevil: Towards Deciphering and Navigating the Ethical Values of Large
Language Models via Instruction Learning [36.66806788879868]
大きな言語モデル(LLM)は前例のない突破口をたどったが、彼らの日常生活への統合は非倫理的コンテンツによって社会的リスクを引き起こす可能性がある。
この研究はモラル・ファンデーション理論を利用した倫理的価値を論じている。
論文 参考訳(メタデータ) (2023-10-17T07:42:40Z) - "According to ...": Prompting Language Models Improves Quoting from
Pre-Training Data [52.03853726206584]
LLM(Large Language Models)は、実データに基づいて事前訓練されているにもかかわらず、幻覚と偽情報を生成する。
本稿では,従来観察されていたテキストに対してLLMを接地応答に誘導する手法を提案する。
基礎となるテキストコーパスにモデル生成回答が直接現れる範囲を計測する新しい評価指標(QUIP-Score)を提案する。
論文 参考訳(メタデータ) (2023-05-22T17:25:24Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳(メタデータ) (2023-02-15T18:25:52Z) - Language Models as Agent Models [42.37422271002712]
LMは、特定の狭義の意図的なコミュニケーションのモデルである、と私は主張する。
今日の非破壊的かつエラーを起こしやすいモデルでさえ、LMはきめ細かいコミュニケーション意図の表現を推論し、使用します。
論文 参考訳(メタデータ) (2022-12-03T20:18:16Z) - Language Models of Code are Few-Shot Commonsense Learners [106.1531522893209]
自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。
既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。
コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-10-13T16:09:36Z) - Moral Mimicry: Large Language Models Produce Moral Rationalizations
Tailored to Political Identity [0.0]
本研究は,アメリカの政治集団に付随する道徳的偏見を,大規模言語モデルが再現するかどうかを考察する。
モラル・ファンデーションズ・セオリー(英語版)の道具を用いて、これらのLSMは確かに道徳的な模倣であることを示した。
論文 参考訳(メタデータ) (2022-09-24T23:55:53Z) - Factuality Enhanced Language Models for Open-Ended Text Generation [60.27166549575472]
我々は、LM世代の実測のためのFactalityPromptsテストセットとメトリクスを設計する。
より大きなLMはより小さなものよりも現実的であることが分かるが、以前の研究では、大きなLMは誤解の観点からは真実性が低いことを示唆している。
そこで本稿では,TopicPrefixを用いた事実認識と文完成のための実感強化学習手法を提案する。
論文 参考訳(メタデータ) (2022-06-09T17:16:43Z) - Entity Cloze By Date: What LMs Know About Unseen Entities [79.34707800653597]
言語モデル(LM)は通常、大規模なコーパスで一度訓練され、更新されずに数年間使用される。
本研究では,LMの事前学習時に存在しなかった新しいエンティティについて,LMがどのような推論ができるのかを解析する枠組みを提案する。
本論文は,その発祥日によって索引付けされたエンティティのデータセットを,英語のウィキペディア記事と組み合わせて作成し,各エンティティに関する文章を検索する。
論文 参考訳(メタデータ) (2022-05-05T17:59:31Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。