論文の概要: Ask Again, Then Fail: Large Language Models' Vacillations in Judgement
- arxiv url: http://arxiv.org/abs/2310.02174v2
- Date: Mon, 26 Feb 2024 08:26:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 19:21:47.991878
- Title: Ask Again, Then Fail: Large Language Models' Vacillations in Judgement
- Title(参考訳): もう一度聞くと失敗する: 大きな言語モデルによる判断の空白
- Authors: Qiming Xie, Zengzhi Wang, Yi Feng, and Rui Xia
- Abstract要約: 我々は、現在の会話言語モデルは、フォローアップ質問に直面した場合、判断を揺るがすことが多いことを観察する。
この矛盾を定量化するために,フォローアップ質問機構と2つの指標を導入する。
トレーニングベースのフレームワークUnwavering-FQを開発した。
- 参考スコア(独自算出の注目度): 28.74246375289661
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We observe that current conversational language models often waver in their
judgements when faced with follow-up questions, even if the original judgement
was correct. This wavering presents a significant challenge for generating
reliable responses and building user trust. To comprehensively assess this
issue, we introduce a Follow-up Questioning Mechanism along with two metrics to
quantify this inconsistency, confirming its widespread presence in current
language models. To mitigate this issue, we explore various prompting
strategies for closed-source models; moreover, we develop a training-based
framework Unwavering-FQ that teaches language models to maintain their
originally correct judgements through synthesized high-quality preference data.
Our experimental results confirm the effectiveness of our framework and its
ability to enhance the general capabilities of models
(https://github.com/NUSTM/LLMs-Waver-In-Judgements).
- Abstract(参考訳): 現在の会話言語モデルは、たとえ元の判断が正しいとしても、後続の疑問に直面して判断を揺らぐことが多い。
このウェーブリングは、信頼性の高い応答を生成し、ユーザ信頼を構築する上で大きな課題となる。
この問題を包括的に評価するために、2つの指標と共にフォローアップ質問機構を導入し、この不整合を定量化し、現在の言語モデルにおけるその広がりを確認した。
この問題を軽減するため,我々はクローズドソースモデルのための様々なプロンプト戦略を探求する。さらに,高品質な選好データを合成することで,言語モデルに元々正しい判断を維持するためのトレーニングベースのフレームワークunwavering-fqを開発した。
実験の結果、我々のフレームワークの有効性とモデルの汎用能力を高める能力を確認した(https://github.com/NUSTM/LLMs-Waver-In-Judgements)。
関連論文リスト
- More Room for Language: Investigating the Effect of Retrieval on Language Models [3.8574940917179164]
本稿では、これらのモデルを完全に制御可能な環境で研究するための「理想的検索」手法を提案する。
本研究では,検索の強化が言語モデルの動作に与える影響を評価するための評価を行う。
論文 参考訳(メタデータ) (2024-04-16T22:43:48Z) - Evidence from counterfactual tasks supports emergent analogical reasoning in large language models [3.9189409002585562]
大規模な言語モデルでは、ゼロショット方式で幅広いテキストベースの類似問題を解くことができるという証拠を報告する。
最近の2つの注釈は、アルファベットの標準配列が任意に置換されるいわゆる反事実的タスクの証拠を引用して、これらの結果に異議を唱えている。
ここでは、これらの批判に回答し、本研究で使用した試験材料に関する誤解を明らかにし、言語モデルがこれらの新しい対実的タスク変種に一般化できることを示す。
論文 参考訳(メタデータ) (2024-04-14T21:51:02Z) - Context versus Prior Knowledge in Language Models [49.17879668110546]
言語モデルは、事前学習中に学んだ事前知識と、文脈で提示された新しい情報を統合する必要があることが多い。
本稿では,モデルがコンテキストと先行するエンティティへの依存性を測定するための2つの相互情報ベースメトリクスを提案する。
論文 参考訳(メタデータ) (2024-04-06T13:46:53Z) - Calibrating the Confidence of Large Language Models by Eliciting Fidelity [52.47397325111864]
RLHFのようなテクニックで最適化された大規模な言語モデルは、有用で無害な点において優れた整合性を実現している。
調整後、これらの言語モデルはしばしば過剰な自信を示し、表現された自信は正確さの度合いで正確に校正しない。
本稿では,言語モデルの信頼度を推定するプラグイン・アンド・プレイ手法を提案する。
論文 参考訳(メタデータ) (2024-04-03T11:36:12Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-14T18:59:15Z) - Evaluating and Modeling Attribution for Cross-Lingual Question Answering [80.4807682093432]
この研究は、言語間質問応答の属性を初めて研究したものである。
我々は、5つの言語でデータを収集し、最先端の言語間QAシステムの属性レベルを評価する。
回答のかなりの部分は、検索されたどのパスにも帰属しないことがわかった。
論文 参考訳(メタデータ) (2023-05-23T17:57:46Z) - Towards Improving Faithfulness in Abstractive Summarization [37.19777407790153]
本稿では,抽象的な要約における忠実度を改善するために,FES(Fithfulness Enhanced Summarization Model)を提案する。
我々のモデルはCNN/DMとXSumの実験において強いベースラインを上回ります。
論文 参考訳(メタデータ) (2022-10-04T19:52:09Z) - An Exploratory Analysis of Multilingual Word-Level Quality Estimation
with Cross-Lingual Transformers [3.4355075318742165]
単語レベルの多言語QEモデルは、現在の言語固有のモデルと同等に機能することを示す。
ゼロショットおよび少数ショットQEの場合、他の言語ペアで訓練されたモデルから、任意の新しい言語ペアに対する単語レベルの品質を正確に予測できることを実証する。
論文 参考訳(メタデータ) (2021-05-31T23:21:10Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z) - Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。
Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。
本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
論文 参考訳(メタデータ) (2020-09-19T02:41:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。