論文の概要: Source-Aware Training Enables Knowledge Attribution in Language Models
- arxiv url: http://arxiv.org/abs/2404.01019v3
- Date: Tue, 13 Aug 2024 03:55:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 22:35:04.032223
- Title: Source-Aware Training Enables Knowledge Attribution in Language Models
- Title(参考訳): 言語モデルにおける知識帰属を可能にするソース・アウェア・トレーニング
- Authors: Muhammad Khalifa, David Wadden, Emma Strubell, Honglak Lee, Lu Wang, Iz Beltagy, Hao Peng,
- Abstract要約: 固有のソースの引用は透明性、解釈可能性、検証可能性を高めることができる。
我々のトレーニングレシピは、モデルの難易度に大きな影響を与えることなく、事前学習データへの忠実な帰属を可能にする。
- 参考スコア(独自算出の注目度): 81.13048060332775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) learn a vast amount of knowledge during pretraining, but they are often oblivious to the source(s) of such knowledge. We investigate the problem of intrinsic source citation, where LLMs are required to cite the pretraining source supporting a generated response. Intrinsic source citation can enhance LLM transparency, interpretability, and verifiability. To give LLMs such ability, we explore source-aware training -- a recipe that involves (i) training the LLM to associate unique source document identifiers with the knowledge in each document, followed by (ii) an instruction-tuning stage to teach the LLM to cite a supporting pretraining source when prompted. Source-aware training borrows from existing pretraining/fine-tuning frameworks and requires minimal changes to the model architecture or implementation. Through experiments on synthetic data, we demonstrate that our training recipe can enable faithful attribution to the pretraining data without a substantial impact on the model's perplexity compared to standard pretraining. Our findings also highlight the importance of pretraining data augmentation in achieving attribution. Code and data available here: \url{https://github.com/mukhal/intrinsic-source-citation}
- Abstract(参考訳): 大規模言語モデル(LLM)は、事前訓練中に膨大な量の知識を学習するが、そのような知識の源泉にはあまり依存しないことが多い。
そこで本研究では,LLMが生成した応答をサポートする事前学習ソースを引用するために必要となる,本質的なソース引用の問題について検討する。
固有のソースの引用は、LLM透過性、解釈可能性、検証可能性を高めることができる。
LLMにそのような能力を与えるために、ソース認識トレーニング(source-aware training)を探求する。
一 独特な原文書識別子と各文書の知識を関連付けるようLLMを訓練し、次に掲げるもの
i) LLM に刺激を受けると、支援事前訓練源を引用するように教える指導訓練段階。
ソースアウェアトレーニングは、既存の事前トレーニング/ファインチューニングフレームワークから借りており、モデルアーキテクチャや実装に最小限の変更を必要とする。
合成データを用いた実験により,従来の事前学習に比べ,モデルの難易度に大きな影響を及ぼすことなく,事前学習データへの忠実な帰属を可能にすることを実証した。
また,本研究は,属性達成における事前学習の重要性も強調した。
コードとデータはここにある。 \url{https://github.com/mukhal/inrinsic-source-citation}
関連論文リスト
- Soft Prompting for Unlearning in Large Language Models [11.504012974208466]
この研究は、データ保護規制を動機とした大規模言語モデルのための機械学習の研究に焦点をあてる。
本研究では、任意のクエリに付加可能なプロンプトトークンを学習して学習を誘発する、textbfSoft textbfPrompting for textbfUntextbflearning (SPUL)を提案する。
論文 参考訳(メタデータ) (2024-06-17T19:11:40Z) - How Do Large Language Models Acquire Factual Knowledge During Pretraining? [36.59608982935844]
本研究では,大規模言語モデル(LLM)が事前学習中に事実知識を取得する方法を検討する。
発見は、事前訓練中の事実知識獲得のダイナミクスに関するいくつかの重要な洞察を明らかにしている。
論文 参考訳(メタデータ) (2024-06-17T17:54:40Z) - SPOT: Text Source Prediction from Originality Score Thresholding [6.790905400046194]
対策は誤報を検出することを目的としており、通常、あらゆる情報の関連性を認識するために訓練されたドメイン固有モデルを含む。
情報の有効性を評価する代わりに,信頼の観点からLLM生成テキストを調べることを提案する。
論文 参考訳(メタデータ) (2024-05-30T21:51:01Z) - FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。
両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。
直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
論文 参考訳(メタデータ) (2024-05-02T17:54:54Z) - Verifiable by Design: Aligning Language Models to Quote from Pre-Training Data [48.409306245463]
我々は、事前学習データにおいて、信頼された情報源から動詞句を引用するモデルを開発する。
Quote-Tuning は高品質な事前学習文書から引用した LLM 生成率を著しく向上させる。
論文 参考訳(メタデータ) (2024-04-05T02:27:09Z) - Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。
ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。
以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
論文 参考訳(メタデータ) (2024-03-05T19:32:01Z) - Towards Tracing Trustworthiness Dynamics: Revisiting Pre-training Period
of Large Language Models [49.48324619809122]
プレトレーニング中のLLMの信頼性の探索を開拓した。
信頼性、プライバシー、毒性、公平性、堅牢性という5つの重要な側面に注目します。
我々は、同様の2相現象、すなわちフィッティングと圧縮を初めて観測した。
論文 参考訳(メタデータ) (2024-02-29T18:55:06Z) - VILA: On Pre-training for Visual Language Models [74.08039416548209]
ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。
私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
論文 参考訳(メタデータ) (2023-12-12T18:58:18Z) - Physics of Language Models: Part 3.1, Knowledge Storage and Extraction [51.68385617116854]
大規模言語モデル(LLM)は膨大な量の世界の知識を格納することができ、しばしば質問応答によって抽出できる。
モデルが知識を抽出する能力と,トレーニングデータの多様な多様性尺度との間には,強い相関関係が認められた。
論文 参考訳(メタデータ) (2023-09-25T17:37:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。