論文の概要: Source-Aware Training Enables Knowledge Attribution in Language Models

• arxiv url: http://arxiv.org/abs/2404.01019v1
• Date: Mon, 1 Apr 2024 09:39:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 22:47:02.623049
• Title: Source-Aware Training Enables Knowledge Attribution in Language Models
• Title（参考訳）: 言語モデルにおける知識帰属を可能にするソース・アウェア・トレーニング
• Authors: Muhammad Khalifa, David Wadden, Emma Strubell, Honglak Lee, Lu Wang, Iz Beltagy, Hao Peng,
• Abstract要約: 大規模言語モデル(LLM)は、事前訓練中に膨大な量の知識を学習するが、そのような知識の源泉にはあまり依存しないことが多い。 そこで本研究では,LLMが生成した応答をサポートする事前学習ソースを引用するために必要となる,本質的なソース引用の問題について検討する。 トレーニングレシピでは,事前学習データに対する忠実な帰属が,通常の事前学習と比較して,モデルの品質に大きな影響を与えない。
• 参考スコア（独自算出の注目度）: 81.13048060332775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) learn a vast amount of knowledge during pretraining, but they are often oblivious to the source(s) of such knowledge. We investigate the problem of intrinsic source citation, where LLMs are required to cite the pretraining source supporting a generated response. Intrinsic source citation can enhance LLM transparency, interpretability, and verifiability. To give LLMs such ability, we explore source-aware training -- a post pretraining recipe that involves (i) training the LLM to associate unique source document identifiers with the knowledge in each document, followed by (ii) an instruction-tuning to teach the LLM to cite a supporting pretraining source when prompted. Source-aware training can easily be applied to pretrained LLMs off the shelf, and diverges minimally from existing pretraining/fine-tuning frameworks. Through experiments on carefully curated data, we demonstrate that our training recipe can enable faithful attribution to the pretraining data without a substantial impact on the model's quality compared to standard pretraining. Our results also highlight the importance of data augmentation in achieving attribution.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事前訓練中に膨大な量の知識を学習するが、そのような知識の源泉にはあまり依存しないことが多い。 そこで本研究では,LLMが生成した応答をサポートする事前学習ソースを引用するために必要となる,本質的なソース引用の問題について検討する。 固有のソースの引用は、LLM透過性、解釈可能性、検証可能性を高めることができる。 LLMにそのような能力を与えるために、ソース認識トレーニング(source-aware training)を探求する。 一 独特な原文書識別子と各文書の知識を関連付けるようLLMを訓練し、次に掲げるもの (ii) LLM に刺激を受けると、支援事前訓練ソースを引用するように教える命令チューニング。 ソースアウェアトレーニングは、棚外の事前訓練されたLLMに容易に適用でき、既存の事前訓練/微調整フレームワークから最小限に分離できる。 念入りにキュレートされたデータの実験を通して、トレーニングのレシピは、トレーニング前のデータに対する忠実な属性を、標準のトレーニングよりもモデルの品質に大きく影響しないで実現できることを示した。 また,属性達成におけるデータ拡張の重要性も強調した。

関連論文リスト

• Extracting Memorized Training Data via Decomposition [24.198975804570072]
  本稿では,2つのフロンティア大言語モデルからニュース記事を抽出する,簡単なクエリベースの分解手法を示す。 73項目から少なくとも1文を抽出し,6項目から20%以上の動詞文を抽出した。 大規模に複製可能であれば、このトレーニングデータ抽出手法は、新たなLLMセキュリティと安全性の脆弱性を公開する可能性がある。
  論文  参考訳（メタデータ） (2024-09-18T23:59:32Z)
• How Do Large Language Models Acquire Factual Knowledge During Pretraining? [36.59608982935844]
  本研究では,大規模言語モデル(LLM)が事前学習中に事実知識を取得する方法を検討する。 発見は、事前訓練中の事実知識獲得のダイナミクスに関するいくつかの重要な洞察を明らかにしている。
  論文  参考訳（メタデータ） (2024-06-17T17:54:40Z)
• SPOT: Text Source Prediction from Originality Score Thresholding [6.790905400046194]
  対策は誤報を検出することを目的としており、通常、あらゆる情報の関連性を認識するために訓練されたドメイン固有モデルを含む。 情報の有効性を評価する代わりに,信頼の観点からLLM生成テキストを調べることを提案する。
  論文  参考訳（メタデータ） (2024-05-30T21:51:01Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• VILA: On Pre-training for Visual Language Models [74.08039416548209]
  ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。 私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
  論文  参考訳（メタデータ） (2023-12-12T18:58:18Z)
• Source Attribution for Large Language Model-Generated Data [57.85840382230037]
  合成テキストの生成に寄与したデータプロバイダを特定することで、ソース属性を実行できることが不可欠である。 我々はこの問題を透かしによって取り組めることを示した。 本稿では,アルゴリズム設計により,これらの重要な特性を満足する情報源属性フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-01T12:02:57Z)
• Physics of Language Models: Part 3.1, Knowledge Storage and Extraction [51.68385617116854]
  大規模言語モデル(LLM)は膨大な量の世界の知識を格納することができ、しばしば質問応答によって抽出できる。 モデルが知識を抽出する能力と,トレーニングデータの多様な多様性尺度との間には,強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-09-25T17:37:20Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
  言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。 本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。 オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。