論文の概要: Ask Again, Then Fail: Large Language Models' Vacillations in Judgement
- arxiv url: http://arxiv.org/abs/2310.02174v1
- Date: Tue, 3 Oct 2023 16:08:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 13:30:29.389229
- Title: Ask Again, Then Fail: Large Language Models' Vacillations in Judgement
- Title(参考訳): もう一度聞くと失敗する: 大きな言語モデルによる判断の空白
- Authors: Qiming Xie, Zengzhi Wang, Yi Feng, and Rui Xia
- Abstract要約: ジェネレーティブな会話型大言語モデル(LLM)は、懐疑論や意見の相違を表すユーザからのフォローアップ質問に直面すると、判断を揺さぶる傾向がある。
LLMの判定一貫性を評価するための2つの評価指標とともに、textscFollow-up Questioning Mechanismを提案する。
実験結果から, LLMが疑問, 否定, 誤解などの障害に直面した場合には, 最初の回答が正しい場合でも, 判定一貫性は急激に低下することがわかった。
- 参考スコア(独自算出の注目度): 28.74246375289661
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the emergence of generative conversational large language models (LLMs)
like ChatGPT, serving as virtual assistants in various fields, the stability
and reliability of their responses have become crucial. However, during usage,
it has been observed that these models tend to waver in their judgements when
confronted with follow-up questions from users expressing skepticism or
disagreement. In this work, we draw inspiration from questioning strategies in
education and propose a \textsc{Follow-up Questioning Mechanism} along with two
evaluation metrics to assess the judgement consistency of LLMs before and after
exposure to disturbances. We evaluate the judgement consistency of ChatGPT,
PaLM2-Bison, and Vicuna-13B under this mechanism across eight reasoning
benchmarks. Empirical results show that even when the initial answers are
correct, judgement consistency sharply decreases when LLMs face disturbances
such as questioning, negation, or misleading. Additionally, we study these
models' judgement consistency under various settings (sampling temperature and
prompts) to validate this issue further, observing the impact of prompt tone
and conducting an in-depth error analysis for deeper behavioral insights.
Furthermore, we also explore several prompting methods to mitigate this issue
and demonstrate their
effectiveness\footnote{\url{https://github.com/NUSTM/LLMs-Waver-In-Judgements}}.
- Abstract(参考訳): ChatGPTのような生成的対話型大言語モデル(LLM)の出現により、様々な分野で仮想アシスタントとして機能するようになり、応答の安定性と信頼性が重要になった。
しかし,使用中は,疑念や不一致を表すユーザからのフォローアップ質問に直面すると,これらのモデルが判断を揺るがす傾向が観察されている。
本研究では,教育における質問戦略からインスピレーションを得て,障害発生前後のLCMの判断一貫性を評価するための2つの評価指標とともに,‘textsc{Follow-up Questioning Mechanism’を提案する。
この機構により,ChatGPT,PaLM2-Bison,Vicuna-13Bの判定一貫性を評価する。
実験結果から, LLMが疑問, 否定, 誤解などの障害に直面した場合には, 最初の回答が正しい場合でも, 判定一貫性は急激に低下することがわかった。
さらに,これらのモデルの判断一貫性を様々な設定(サンプル温度とプロンプト)で検討し,この問題をさらに検証し,プロンプトトーンの影響を観察し,深い行動分析を行う。
さらに、この問題を緩和し、その効果を実証するいくつかのプロンプト手法についても検討する。
関連論文リスト
- Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
検索強化に関して,言語モデルの信頼性に焦点をあてる。
検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。
言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
論文 参考訳(メタデータ) (2024-10-22T09:25:21Z) - Improving Instruction Following in Language Models through Proxy-Based Uncertainty Estimation [12.921225188504643]
本稿では,ペア応答の品質に対するロバストな不確実性推定を導入した不確実性認識リワードモデル(URM)を提案する。
実験結果から,提案したプロキシを言語モデルトレーニングに組み込むことによる大きなメリットが示された。
論文 参考訳(メタデータ) (2024-05-10T12:14:11Z) - Evidence from counterfactual tasks supports emergent analogical reasoning in large language models [3.9189409002585562]
大規模な言語モデルでは、ゼロショット方式で幅広いテキストベースの類似問題を解くことができるという証拠を報告する。
最近の2つの注釈は、アルファベットの標準配列が任意に置換されるいわゆる反事実的タスクの証拠を引用して、これらの結果に異議を唱えている。
ここでは、これらの批判に回答し、本研究で使用した試験材料に関する誤解を明らかにし、言語モデルがこれらの新しい対実的タスク変種に一般化できることを示す。
論文 参考訳(メタデータ) (2024-04-14T21:51:02Z) - Calibrating the Confidence of Large Language Models by Eliciting Fidelity [52.47397325111864]
RLHFのようなテクニックで最適化された大規模な言語モデルは、有用で無害な点において優れた整合性を実現している。
調整後、これらの言語モデルはしばしば過剰な自信を示し、表現された自信は正確さの度合いで正確に校正しない。
本稿では,言語モデルの信頼度を推定するプラグイン・アンド・プレイ手法を提案する。
論文 参考訳(メタデータ) (2024-04-03T11:36:12Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-14T18:59:15Z) - Towards Improving Faithfulness in Abstractive Summarization [37.19777407790153]
本稿では,抽象的な要約における忠実度を改善するために,FES(Fithfulness Enhanced Summarization Model)を提案する。
我々のモデルはCNN/DMとXSumの実験において強いベースラインを上回ります。
論文 参考訳(メタデータ) (2022-10-04T19:52:09Z) - Learning from Lexical Perturbations for Consistent Visual Question
Answering [78.21912474223926]
既存のVisual Question Answering (VQA)モデルは、しばしば脆弱で入力のバリエーションに敏感である。
本稿では,モジュール型ネットワークに基づく新たなアプローチを提案し,言語摂動による2つの疑問を提起する。
VQA Perturbed Pairings (VQA P2) も提案する。
論文 参考訳(メタデータ) (2020-11-26T17:38:03Z) - Knowledge-Grounded Dialogue Generation with Pre-trained Language Models [74.09352261943911]
我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。
本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
論文 参考訳(メタデータ) (2020-10-17T16:49:43Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。