論文の概要: Trusted Source Alignment in Large Language Models

• arxiv url: http://arxiv.org/abs/2311.06697v1
• Date: Sun, 12 Nov 2023 00:25:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 17:17:23.647865
• Title: Trusted Source Alignment in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける信頼できるソースアライメント
• Authors: Vasilisa Bashlovkina, Zhaobin Kuang, Riley Matthews, Edward Clifford, Yennie Jun, William W. Cohen, Simon Baumgartner
• Abstract要約: 本稿では,ファクトチェック記事のコーパスに基づくTSA評価データセットであるFactCheckQAを提案する。 モデルサイズを拡大するにつれて、FactCheckQAのモデル性能は、信頼性のあるソースとの整合性において、ほぼランダムから最大80%のバランスの取れた精度に向上する。
• 参考スコア（独自算出の注目度）: 30.14375102262399
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are trained on web-scale corpora that inevitably include contradictory factual information from sources of varying reliability. In this paper, we propose measuring an LLM property called trusted source alignment (TSA): the model's propensity to align with content produced by trusted publishers in the face of uncertainty or controversy. We present FactCheckQA, a TSA evaluation dataset based on a corpus of fact checking articles. We describe a simple protocol for evaluating TSA and offer a detailed analysis of design considerations including response extraction, claim contextualization, and bias in prompt formulation. Applying the protocol to PaLM-2, we find that as we scale up the model size, the model performance on FactCheckQA improves from near-random to up to 80% balanced accuracy in aligning with trusted sources.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な信頼性のソースから必然的に矛盾する事実情報を含むWebスケールコーパスで訓練される。 本稿では,信頼ソースアライメント(trusted source alignment, tsa)と呼ばれるllm特性を測定することを提案する。 本稿では,事実チェック記事のコーパスに基づくTSA評価データセットであるFactCheckQAを提案する。 本稿では,tsaを簡易に評価するためのプロトコルについて述べるとともに,応答抽出,クレームコンテキスト化,バイアスといった設計上の考慮事項の詳細な分析を行う。 このプロトコルをpalm-2に適用すると、モデルサイズをスケールアップすることで、factcheckqaのモデルパフォーマンスがほぼランダムから最大80%のバランスの取れた精度に向上することがわかった。

関連論文リスト

• CaLM: Contrasting Large and Small Language Models to Verify Grounded Generation [76.31621715032558]
  グラウンデッドジェネレーションは、言語モデル(LM)に、より信頼性が高く説明可能な応答を生成する能力を持たせることを目的としている。 本稿では,新しい検証フレームワークであるCaLMを紹介する。 我々のフレームワークは、より少ないパラメトリックメモリに依存する小さなLMを有効活用し、より大きなLMの出力を検証する。
  論文  参考訳（メタデータ） (2024-06-08T06:04:55Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• SPOT: Text Source Prediction from Originality Score Thresholding [6.790905400046194]
  対策は誤報を検出することを目的としており、通常、あらゆる情報の関連性を認識するために訓練されたドメイン固有モデルを含む。 情報の有効性を評価する代わりに,信頼の観点からLLM生成テキストを調べることを提案する。
  論文  参考訳（メタデータ） (2024-05-30T21:51:01Z)
• Conformal Alignment: Knowing When to Trust Foundation Models with Guarantees [5.348310708453905]
  放射線学レポート生成では、ビジョン言語モデルによって生成された報告は、医学的意思決定に使用する前に人間の評価と一致しなければならない。 本稿では、出力がアライメント基準を満たす単位を識別する一般的なフレームワークであるConformal Alignmentを提案する。 基本モデルやデータ分布にかかわらず、選択された単位の所定の割合がアライメント基準を満たすことが保証される。
  論文  参考訳（メタデータ） (2024-05-16T17:55:24Z)
• Verifiable by Design: Aligning Language Models to Quote from Pre-Training Data [48.409306245463]
  事前学習データにおいて,信頼された情報源から動詞句を引用するモデルを構築した。 Quote-Tuningの中核は、信頼されたコーパスに対するテキストを効率的に検証する高速なメンバシップ推論機能である。 実験により、Quote-Tuningは、ベースモデルと比較して高品質なドキュメントからの動詞の引用を最大130%増加させることが示された。
  論文  参考訳（メタデータ） (2024-04-05T02:27:09Z)
• Language Models with Conformal Factuality Guarantees [44.767328168194815]
  コンフォーマルな事実性(conformal factuality)は、言語モデル(LM)出力に対する高い確率の正確性を保証するフレームワークである。 言語モデルにおける共形予測は,高い確率精度保証を提供するバックオフアルゴリズムに対応することを示す。
  論文  参考訳（メタデータ） (2024-02-15T18:31:53Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries [59.27273928454995]
  要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。 評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。 ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
  論文  参考訳（メタデータ） (2021-09-19T19:05:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。