論文の概要: Trusted Source Alignment in Large Language Models
- arxiv url: http://arxiv.org/abs/2311.06697v1
- Date: Sun, 12 Nov 2023 00:25:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 17:17:23.647865
- Title: Trusted Source Alignment in Large Language Models
- Title(参考訳): 大規模言語モデルにおける信頼できるソースアライメント
- Authors: Vasilisa Bashlovkina, Zhaobin Kuang, Riley Matthews, Edward Clifford,
Yennie Jun, William W. Cohen, Simon Baumgartner
- Abstract要約: 本稿では,ファクトチェック記事のコーパスに基づくTSA評価データセットであるFactCheckQAを提案する。
モデルサイズを拡大するにつれて、FactCheckQAのモデル性能は、信頼性のあるソースとの整合性において、ほぼランダムから最大80%のバランスの取れた精度に向上する。
- 参考スコア(独自算出の注目度): 30.14375102262399
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are trained on web-scale corpora that inevitably
include contradictory factual information from sources of varying reliability.
In this paper, we propose measuring an LLM property called trusted source
alignment (TSA): the model's propensity to align with content produced by
trusted publishers in the face of uncertainty or controversy. We present
FactCheckQA, a TSA evaluation dataset based on a corpus of fact checking
articles. We describe a simple protocol for evaluating TSA and offer a detailed
analysis of design considerations including response extraction, claim
contextualization, and bias in prompt formulation. Applying the protocol to
PaLM-2, we find that as we scale up the model size, the model performance on
FactCheckQA improves from near-random to up to 80% balanced accuracy in
aligning with trusted sources.
- Abstract(参考訳): 大規模言語モデル(LLM)は、様々な信頼性のソースから必然的に矛盾する事実情報を含むWebスケールコーパスで訓練される。
本稿では,信頼ソースアライメント(trusted source alignment, tsa)と呼ばれるllm特性を測定することを提案する。
本稿では,事実チェック記事のコーパスに基づくTSA評価データセットであるFactCheckQAを提案する。
本稿では,tsaを簡易に評価するためのプロトコルについて述べるとともに,応答抽出,クレームコンテキスト化,バイアスといった設計上の考慮事項の詳細な分析を行う。
このプロトコルをpalm-2に適用すると、モデルサイズをスケールアップすることで、factcheckqaのモデルパフォーマンスがほぼランダムから最大80%のバランスの取れた精度に向上することがわかった。
関連論文リスト
- Verifiable by Design: Aligning Language Models to Quote from Pre-Training Data [48.409306245463]
我々は、事前学習データにおいて、信頼された情報源から動詞句を引用するモデルを開発する。
Quote-Tuning は高品質な事前学習文書から引用した LLM 生成率を著しく向上させる。
論文 参考訳(メタデータ) (2024-04-05T02:27:09Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳(メタデータ) (2024-04-04T15:36:53Z) - Calibrating the Confidence of Large Language Models by Eliciting Fidelity [52.47397325111864]
RLHFのようなテクニックで最適化された大規模な言語モデルは、有用で無害な点において優れた整合性を実現している。
調整後、これらの言語モデルはしばしば過剰な自信を示し、表現された自信は正確さの度合いで正確に校正しない。
本稿では,言語モデルの信頼度を推定するプラグイン・アンド・プレイ手法を提案する。
論文 参考訳(メタデータ) (2024-04-03T11:36:12Z) - Language Models with Conformal Factuality Guarantees [44.767328168194815]
コンフォーマルな事実性(conformal factuality)は、言語モデル(LM)出力に対する高い確率の正確性を保証するフレームワークである。
言語モデルにおける共形予測は,高い確率精度保証を提供するバックオフアルゴリズムに対応することを示す。
論文 参考訳(メタデータ) (2024-02-15T18:31:53Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - Investigating Crowdsourcing Protocols for Evaluating the Factual
Consistency of Summaries [59.27273928454995]
要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。
評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。
ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
論文 参考訳(メタデータ) (2021-09-19T19:05:00Z) - Claim Matching Beyond English to Scale Global Fact-Checking [5.836354423653351]
我々は、ファクトチェックされたクレームに加えて、WhatsAppのチップラインと公開グループメッセージの新しいデータセットを構築します。
我々のデータセットには、高リソース(英語、ヒンディー語)と低リソース(ベンガル語、マラヤラム語、タミル語)のコンテンツが含まれています。
我々は、低リソース言語と高リソース言語の埋め込み品質の不均衡に対応するため、知識蒸留と高品質な「教師」モデルを用いて、独自の埋め込みモデルを訓練する。
論文 参考訳(メタデータ) (2021-06-01T23:28:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。