論文の概要: Source-Aware Training Enables Knowledge Attribution in Language Models
- arxiv url: http://arxiv.org/abs/2404.01019v1
- Date: Mon, 1 Apr 2024 09:39:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 22:47:02.623049
- Title: Source-Aware Training Enables Knowledge Attribution in Language Models
- Title(参考訳): 言語モデルにおける知識帰属を可能にするソース・アウェア・トレーニング
- Authors: Muhammad Khalifa, David Wadden, Emma Strubell, Honglak Lee, Lu Wang, Iz Beltagy, Hao Peng,
- Abstract要約: 大規模言語モデル(LLM)は、事前訓練中に膨大な量の知識を学習するが、そのような知識の源泉にはあまり依存しないことが多い。
そこで本研究では,LLMが生成した応答をサポートする事前学習ソースを引用するために必要となる,本質的なソース引用の問題について検討する。
トレーニングレシピでは,事前学習データに対する忠実な帰属が,通常の事前学習と比較して,モデルの品質に大きな影響を与えない。
- 参考スコア(独自算出の注目度): 81.13048060332775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) learn a vast amount of knowledge during pretraining, but they are often oblivious to the source(s) of such knowledge. We investigate the problem of intrinsic source citation, where LLMs are required to cite the pretraining source supporting a generated response. Intrinsic source citation can enhance LLM transparency, interpretability, and verifiability. To give LLMs such ability, we explore source-aware training -- a post pretraining recipe that involves (i) training the LLM to associate unique source document identifiers with the knowledge in each document, followed by (ii) an instruction-tuning to teach the LLM to cite a supporting pretraining source when prompted. Source-aware training can easily be applied to pretrained LLMs off the shelf, and diverges minimally from existing pretraining/fine-tuning frameworks. Through experiments on carefully curated data, we demonstrate that our training recipe can enable faithful attribution to the pretraining data without a substantial impact on the model's quality compared to standard pretraining. Our results also highlight the importance of data augmentation in achieving attribution.
- Abstract(参考訳): 大規模言語モデル(LLM)は、事前訓練中に膨大な量の知識を学習するが、そのような知識の源泉にはあまり依存しないことが多い。
そこで本研究では,LLMが生成した応答をサポートする事前学習ソースを引用するために必要となる,本質的なソース引用の問題について検討する。
固有のソースの引用は、LLM透過性、解釈可能性、検証可能性を高めることができる。
LLMにそのような能力を与えるために、ソース認識トレーニング(source-aware training)を探求する。
一 独特な原文書識別子と各文書の知識を関連付けるようLLMを訓練し、次に掲げるもの
(ii) LLM に刺激を受けると、支援事前訓練ソースを引用するように教える命令チューニング。
ソースアウェアトレーニングは、棚外の事前訓練されたLLMに容易に適用でき、既存の事前訓練/微調整フレームワークから最小限に分離できる。
念入りにキュレートされたデータの実験を通して、トレーニングのレシピは、トレーニング前のデータに対する忠実な属性を、標準のトレーニングよりもモデルの品質に大きく影響しないで実現できることを示した。
また,属性達成におけるデータ拡張の重要性も強調した。
関連論文リスト
- FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。
両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。
直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
論文 参考訳(メタデータ) (2024-05-02T17:54:54Z) - Verifiable by Design: Aligning Language Models to Quote from Pre-Training Data [48.409306245463]
我々は、事前学習データにおいて、信頼された情報源から動詞句を引用するモデルを開発する。
Quote-Tuning は高品質な事前学習文書から引用した LLM 生成率を著しく向上させる。
論文 参考訳(メタデータ) (2024-04-05T02:27:09Z) - Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。
ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。
以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
論文 参考訳(メタデータ) (2024-03-05T19:32:01Z) - Towards Tracing Trustworthiness Dynamics: Revisiting Pre-training Period
of Large Language Models [49.48324619809122]
プレトレーニング中のLLMの信頼性の探索を開拓した。
信頼性、プライバシー、毒性、公平性、堅牢性という5つの重要な側面に注目します。
我々は、同様の2相現象、すなわちフィッティングと圧縮を初めて観測した。
論文 参考訳(メタデータ) (2024-02-29T18:55:06Z) - VILA: On Pre-training for Visual Language Models [76.545284695932]
ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。
私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
論文 参考訳(メタデータ) (2023-12-12T18:58:18Z) - In-Context Unlearning: Language Models as Few Shot Unlearners [31.426892450603873]
''In-Context Unlearning''は、モデルパラメータを更新することなく、コンテキスト内のインプットを提供する。
これらのコンテキストは、最先端の未学習手法と競合するパフォーマンスレベルを維持しながら、トレーニングセットから特定の情報を効果的に除去することを示します。
論文 参考訳(メタデータ) (2023-10-11T15:19:31Z) - At Which Training Stage Does Code Data Help LLMs Reasoning? [21.74241875923737]
本稿では,Large Language Models (LLM) に対するコードデータの影響について検討する。
コードとテキストの混合による事前学習 LLM は LLM の一般的な推論能力を大幅に向上させることができる。
命令チューニングの段階では、コードデータはLLMにタスク固有の推論能力を与える。
論文 参考訳(メタデータ) (2023-09-28T09:50:27Z) - Physics of Language Models: Part 3.1, Knowledge Storage and Extraction [61.05762942335984]
大規模言語モデル(LLM)は膨大な量の世界の知識を格納することができ、しばしば質問応答によって抽出できる。
モデルが知識を抽出する能力と,トレーニングデータの多様な多様性尺度との間には,強い相関関係が認められた。
論文 参考訳(メタデータ) (2023-09-25T17:37:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。