論文の概要: An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation

• arxiv url: http://arxiv.org/abs/2210.03826v1
• Date: Fri, 7 Oct 2022 21:33:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 14:05:47.272601
• Title: An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation
• Title（参考訳）: オープンエンディング言語生成における復号アルゴリズムが公平性に及ぼす影響の分析
• Authors: Jwala Dhamala, Varun Kumar, Rahul Gupta, Kai-Wei Chang, Aram Galstyan
• Abstract要約: 本稿では,復号化アルゴリズムがLMフェアネスに与える影響を体系的に分析する。 公平さ、多様性、品質のトレードオフを分析します。
• 参考スコア（独自算出の注目度）: 77.44921096644698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several prior works have shown that language models (LMs) can generate text containing harmful social biases and stereotypes. While decoding algorithms play a central role in determining properties of LM generated text, their impact on the fairness of the generations has not been studied. We present a systematic analysis of the impact of decoding algorithms on LM fairness, and analyze the trade-off between fairness, diversity and quality. Our experiments with top-$p$, top-$k$ and temperature decoding algorithms, in open-ended language generation, show that fairness across demographic groups changes significantly with change in decoding algorithm's hyper-parameters. Notably, decoding algorithms that output more diverse text also output more texts with negative sentiment and regard. We present several findings and provide recommendations on standardized reporting of decoding details in fairness evaluations and optimization of decoding algorithms for fairness alongside quality and diversity.
• Abstract（参考訳）: いくつかの先行研究は、言語モデル(LM)が有害な社会的バイアスやステレオタイプを含むテキストを生成することを示した。 復号アルゴリズムはlm生成テキストの特性決定において中心的な役割を果たすが、その世代間の公平性への影響は研究されていない。 本稿では,復号アルゴリズムがLMフェアネスに与える影響を体系的に分析し,公平さ,多様性,品質のトレードオフを分析する。 p$、top-$k$、および温度デコードアルゴリズムを用いたオープンエンド言語生成実験では、デコードアルゴリズムのハイパーパラメータの変化に伴い、集団間の公平性が著しく変化することが示された。 特に、より多様なテキストを出力するデコーディングアルゴリズムは、ネガティブな感情を持つテキストも出力します。 フェアネス評価におけるデコード詳細の標準化報告と品質と多様性の両立のためのデコードアルゴリズムの最適化について提案する。

関連論文リスト

• A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
  EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。 本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
  論文  参考訳（メタデータ） (2024-10-30T01:53:04Z)
• Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation [0.22499166814992438]
  大規模言語モデル(LLM)の復号戦略は、テキスト生成タスクの重要な側面であるが、しばしば未探索の側面である。 オープンエンドテキスト生成において,ハイパーパラメータ選択がテキスト品質に与える影響を,大規模かつ包括的に分析する。
  論文  参考訳（メタデータ） (2024-10-08T14:51:03Z)
• Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
  コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。 この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
  論文  参考訳（メタデータ） (2024-07-26T12:23:54Z)
• ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection [6.27025292177391]
  ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。 ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
  論文  参考訳（メタデータ） (2024-02-17T02:25:57Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• Generating Diverse and High-Quality Texts by Minimum Bayes Risk Decoding [4.209844101827474]
  多様性目標を最小ベイズ・リスク復号化に適用することにより,多様性向上のための復号化アルゴリズムを開発した。 我々は、エンコーダデコーダモデルとプロンプト付き大規模言語モデルを用いて、様々な有向テキスト生成タスクにおいてDMBRとKMBRを評価する。
  論文  参考訳（メタデータ） (2024-01-10T10:23:41Z)
• Contrastive Decoding Improves Reasoning in Large Language Models [55.16503283583076]
  コントラストデコーディングは,様々な推論タスクにおいて,グリージーデコーディングよりもアウト・オブ・ボックスの大幅な改善を実現することを示す。 本稿では,LLaMA-65BがHellaSwag Commonsense reasoning benchmark上でLLaMA 2, GPT-3.5, PaLM 2-Lより優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-17T00:29:32Z)
• Surfacing Biases in Large Language Models using Contrastive Input Decoding [12.694066526722203]
  コントラスト入力復号法(コントラスト入力復号法、Contrastive Input Decoding, CID)は、2つの入力を与えられたテキストを生成する復号アルゴリズムである。 CIDを使って、標準的なデコード戦略では検出が難しいコンテキスト固有のバイアスを強調します。
  論文  参考訳（メタデータ） (2023-05-12T11:09:49Z)
• Language Model Decoding as Likelihood-Utility Alignment [54.70547032876017]
  モデルの有効性がタスク固有の実用性の概念とどのように一致しているかについて、暗黙の仮定に基づいて、デコード戦略をグループ化する分類法を導入する。 具体的には、様々なタスクの集合における予測の可能性と有用性の相関を解析することにより、提案された分類を裏付ける最初の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2022-10-13T17:55:51Z)
• On Decoding Strategies for Neural Text Generators [73.48162198041884]
  言語生成タスクと復号化戦略の相互作用について検討する。 生成したテキストの属性の変化をデコード戦略とタスクの両方の関数として測定する。 以上の結果から,これまで観察された結果と意外な結果の両方が明らかとなった。
  論文  参考訳（メタデータ） (2022-03-29T16:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。