論文の概要: Democratizing Ethical Assessment of Natural Language Generation Models

• arxiv url: http://arxiv.org/abs/2207.10576v1
• Date: Thu, 30 Jun 2022 12:20:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-24 11:49:40.163021
• Title: Democratizing Ethical Assessment of Natural Language Generation Models
• Title（参考訳）: 自然言語生成モデルの民主化倫理評価
• Authors: Amin Rasekh, Ian Eisenberg
• Abstract要約: 自然言語生成モデル(英: natural language generation model)とは、単語の列を文脈として刺激するとコヒーレントな言語を生成するコンピュータシステムである。 ユビキティと多くの有益な応用にもかかわらず、言語生成モデルは社会に害を与える可能性がある。 したがって、これらのモデルの倫理的評価は重要である。 本稿では,自然言語生成モデルの倫理的評価を民主化し,標準化するための新しいツールを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language generation models are computer systems that generate coherent language when prompted with a sequence of words as context. Despite their ubiquity and many beneficial applications, language generation models also have the potential to inflict social harms by generating discriminatory language, hateful speech, profane content, and other harmful material. Ethical assessment of these models is therefore critical. But it is also a challenging task, requiring an expertise in several specialized domains, such as computational linguistics and social justice. While significant strides have been made by the research community in this domain, accessibility of such ethical assessments to the wider population is limited due to the high entry barriers. This article introduces a new tool to democratize and standardize ethical assessment of natural language generation models: Tool for Ethical Assessment of Language generation models (TEAL), a component of Credo AI Lens, an open-source assessment framework.
• Abstract（参考訳）: 自然言語生成モデル(英: natural language generation model)は、単語列を文脈として促すとコヒーレント言語を生成するコンピュータシステムである。 そのユビキティと多くの有益な応用にもかかわらず、言語生成モデルは差別的言語、憎悪的なスピーチ、挑発的内容、その他の有害物質を生成することによって社会的な害をもたらす可能性がある。 したがって、これらのモデルの倫理的評価は重要である。 しかしそれはまた、計算言語学や社会正義など、いくつかの専門分野の専門知識を必要とする困難なタスクでもある。 この分野の研究コミュニティは大きな進歩を遂げているが、こうした倫理的評価の市民へのアクセシビリティは、高い参入障壁のために制限されている。 本稿では、オープンソースアセスメントフレームワークであるCredo AI LensのコンポーネントであるTEAL(Ethical Assessment of Language Generation Model)について、自然言語生成モデルの倫理的アセスメントを民主化し標準化するための新しいツールを紹介します。

関連論文リスト

• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Formal Aspects of Language Modeling [74.16212987886013]
  大規模言語モデルは最も一般的なNLP発明の1つとなっている。 これらのノートは、ETH Z "urich course on large language model" の理論的部分の伴奏である。
  論文  参考訳（メタデータ） (2023-11-07T20:21:42Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• On the application of Large Language Models for language teaching and assessment technology [18.735612275207853]
  我々は,AIによる言語教育とアセスメントシステムに大規模言語モデルを導入する可能性を検討する。 より大きな言語モデルは、テキスト生成における以前のモデルよりも改善されていることがわかった。 自動階調と文法的誤り訂正において、よく知られたベンチマークで進捗が確認されたタスクについては、初期の調査では、彼ら自身の大きな言語モデルが最先端の結果を改善していないことが示されている。
  論文  参考訳（メタデータ） (2023-07-17T11:12:56Z)
• Should ChatGPT be Biased? Challenges and Risks of Bias in Large Language Models [11.323961700172175]
  本稿では,ChatGPTのような大規模言語モデルにおけるバイアスに関連する課題とリスクについて考察する。 我々は、トレーニングデータの性質、モデル仕様、アルゴリズム制約、製品設計、ポリシー決定など、バイアスの起源について論じる。 私たちは、言語モデルにおけるバイアスを特定し、定量化し、緩和するための現在のアプローチをレビューし、より公平で透明で責任あるAIシステムを開発するための、多分野の協力的な取り組みの必要性を強調します。
  論文  参考訳（メタデータ） (2023-04-07T17:14:00Z)
• Estimating the Personality of White-Box Language Models [0.589889361990138]
  大規模なテキストコーパスで訓練された大規模言語モデルは、至る所で広範囲のアプリケーションで使用されている。 既存の研究は、これらのモデルが人間の偏見を捉え、捉えていることを示している。 これらのバイアス、特に害を引き起こす可能性のあるバイアスの多くは、十分に調査されている。 しかし、これらのモデルによって受け継がれた人間の性格特性を推測し、変化させる研究は、ほとんど、あるいは存在しない。
  論文  参考訳（メタデータ） (2022-04-25T23:53:53Z)
• Curriculum: A Broad-Coverage Benchmark for Linguistic Phenomena in Natural Language Understanding [1.827510863075184]
  Curriculumは広範囲言語現象の評価のためのNLIベンチマークの新しいフォーマットである。 この言語フェノメナ駆動型ベンチマークは、モデル行動の診断とモデル学習品質の検証に有効なツールであることを示す。
  論文  参考訳（メタデータ） (2022-04-13T10:32:03Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Ethical-Advice Taker: Do Language Models Understand Natural Language Interventions? [62.74872383104381]
  読解システムにおける自然言語介入の有効性について検討する。 本稿では,新たな言語理解タスクであるLingguistic Ethical Interventions (LEI)を提案する。
  論文  参考訳（メタデータ） (2021-06-02T20:57:58Z)
• Neural Language Generation: Formulation, Methods, and Evaluation [13.62873478165553]
  ニューラルネットワークに基づく生成モデリングの最近の進歩は、人間とシームレスに会話できるコンピュータシステムの実現への期待を再燃させた。 大規模データセットでトレーニングされた高容量ディープラーニングモデルは、明示的な監視信号の欠如にもかかわらず、データのパターンを学習する非並列的な能力を示している。 これらの生成モデルが生成するテキストの品質を評価する標準的な方法は存在しないため、フィールドの進行に深刻なボトルネックが生じる。
  論文  参考訳（メタデータ） (2020-07-31T00:08:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。