論文の概要: Perils of Self-Feedback: Self-Bias Amplifies in Large Language Models
- arxiv url: http://arxiv.org/abs/2402.11436v1
- Date: Sun, 18 Feb 2024 03:10:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 21:08:49.218217
- Title: Perils of Self-Feedback: Self-Bias Amplifies in Large Language Models
- Title(参考訳): 自己フィードバックのペリル--大規模言語モデルにおける自己バイアスの増幅
- Authors: Wenda Xu, Guanglei Zhu, Xuandong Zhao, Liangming Pan, Lei Li, William
Yang Wang
- Abstract要約: セルフフィードバックは、特定のタスクにおいて大きな言語モデル(LLM)を改善し、他のタスクを悪化させる。
近年の研究では、自己フィードバックは特定のタスクにおいて大きな言語モデル(LLM)を改善する一方で、他のタスクを悪化させることが示されている。
本稿は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。
- 参考スコア(独自算出の注目度): 79.5116305401044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies show that self-feedback improves large language models (LLMs)
on certain tasks while worsens other tasks. We discovered that such a contrary
is due to LLM's bias towards their own output. In this paper, we formally
define LLM's self-bias -- the tendency to favor its own generation -- using two
statistics. We analyze six LLMs on translation, constrained text generation,
and mathematical reasoning tasks. We find that self-bias is prevalent in all
examined LLMs across multiple languages and tasks. Our analysis reveals that
while the self-refine pipeline improves the fluency and understandability of
model outputs, it further amplifies self-bias. To mitigate such biases, we
discover that larger model size and external feedback with accurate assessment
can significantly reduce bias in the self-refine pipeline, leading to actual
performance improvement in downstream tasks.
- Abstract(参考訳): 最近の研究によると、自己フィードバックは特定のタスクにおいて大きな言語モデル(LLM)を改善し、他のタスクを悪化させる。
このような逆は、LLMが自身の出力に偏りがあることが判明した。
本稿では, LLMの自己バイアス(自称世代を好む傾向)を2つの統計値を用いて正式に定義する。
我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
自己バイアスは、複数の言語やタスクにまたがる全てのLLMで顕著である。
分析の結果,自己定義パイプラインはモデル出力の流速と理解性を向上するが,さらに自己バイアスを増幅することがわかった。
このようなバイアスを軽減するために,モデルサイズと正確な評価による外部からのフィードバックが,自己定義パイプラインのバイアスを著しく低減し,下流タスクのパフォーマンス向上につながることを見出した。
関連論文リスト
- Improving LLM-based Machine Translation with Systematic Self-Correction [27.679218053257685]
大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た
しかし、人間による慎重な評価は、LLMが生成した翻訳には、まだ複数の誤りが含まれていることを明らかにしている。
これらの知見に触発され,系統的なLLMに基づく自己修正翻訳フレームワークであるTERを導入する。
論文 参考訳(メタデータ) (2024-02-26T07:58:12Z) - Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳(メタデータ) (2024-02-03T01:40:11Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。
我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。
3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
論文 参考訳(メタデータ) (2023-11-29T23:03:04Z) - Are Large Language Models Reliable Judges? A Study on the Factuality
Evaluation Capabilities of LLMs [8.526956860672698]
大きな言語モデル(LLM)は、その顕著な能力のために注目を集めている。
本研究では,テキスト生成モデルにより生成された要約における事実整合性の信頼性評価としてのLCMの可能性について検討する。
論文 参考訳(メタデータ) (2023-11-01T17:42:45Z) - Verbosity Bias in Preference Labeling by Large Language Models [10.242500241407466]
大規模言語モデル(LLM)の評価に伴うバイアスについて検討する。
冗長性バイアス( verbosity bias) -- LLM では,たとえ同じような品質を持つとしても,より冗長な回答を好む場合があります。
論文 参考訳(メタデータ) (2023-10-16T05:19:02Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Self-Refine: Iterative Refinement with Self-Feedback [62.78755306241981]
Self-Refineは、反復的なフィードバックと改善を通じて、大きな言語モデル(LLM)からの初期出力を改善するアプローチである。
GPT-3.5, ChatGPT, および GPT-4) LLM を用いて, 対話応答生成から数学的推論に至るまで, 7 つのタスクにまたがる自己決定性を評価する。
我々の研究は、GPT-4のような最先端のLCMでさえ、単純でスタンドアロンなアプローチを使用してテスト時にさらに改善できることを示します。
論文 参考訳(メタデータ) (2023-03-30T18:30:01Z) - Benchmarking Large Language Models for News Summarization [79.37850439866938]
大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。
LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
論文 参考訳(メタデータ) (2023-01-31T18:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。