論文の概要: Enhancing elusive clues in knowledge learning by contrasting attention of language models

• arxiv url: http://arxiv.org/abs/2409.17954v1
• Date: Thu, 26 Sep 2024 15:30:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 16:52:13.027189
• Title: Enhancing elusive clues in knowledge learning by contrasting attention of language models
• Title（参考訳）: 言語モデルの注意を対比した知識学習における啓発的手がかりの強化
• Authors: Jian Gao, Xiao Zhang, Ji Wu, Miao Li,
• Abstract要約: 本稿では,言語モデル事前学習における知識学習の促進手法を提案する。 より大きな言語モデルは、より小さな言語モデルによって見落とされがちな、目立たないが重要な手がかりにより多くの注意を払っていることがわかった。
• 参考スコア（独自算出の注目度）: 19.37767409898751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Causal language models acquire vast amount of knowledge from general text corpus during pretraining, but the efficiency of knowledge learning is known to be unsatisfactory, especially when learning from knowledge-dense and small-sized corpora. The deficiency can come from long-distance dependencies which are hard to capture by language models, and overfitting to co-occurrence patterns and distracting clues in the training text. To address these issues, the paper proposes a method to enhance knowledge learning during language model pretraining, by enhancing elusive but important clues in text discovered by the language model themselves. We found that larger language models pay more attention to non-obvious but important clues, which are often overlooked by smaller language models. Therefore, we can identify these clues by contrasting the attention weights of large and small language models. We use the identified clues as a guide to perform token-dropout data augmentation on the training text, and observed a significant boost in both small and large models' performance in fact memorization. This shows that the behavior contrast between more and less-performant language models contains important clues for knowledge learning, and it can be ``amplified" for a straight-forward improvement in knowledge learning efficiency.
• Abstract（参考訳）: 因果語モデルは、事前訓練中に一般的なテキストコーパスから膨大な量の知識を取得するが、知識学習の効率性は、特に知識密度や小さなコーパスから学ぶ際には不満足であることが知られている。 この欠陥は、言語モデルによるキャプチャが難しい長距離依存関係や、共起パターンへの過度な適合、トレーニングテキストのヒントの欠如による可能性がある。 これらの課題に対処するため,本論文では,言語モデル自体が発見するテキストの理解的かつ重要な手がかりを向上することにより,言語モデル事前学習時の知識学習を強化する手法を提案する。 より大きな言語モデルは、より小さな言語モデルによって見落とされがちな、目立たないが重要な手がかりにより多くの注意を払っていることがわかった。 したがって、大小言語モデルの注意重みを対比することにより、これらの手がかりを識別することができる。 トレーニングテキスト上でトークンドロップアウトデータ拡張を行うためのガイドとして,識別された手がかりを用いて,小型モデルと大規模モデルの両方のパフォーマンスが実際に記憶されている場合において顕著に向上することを示した。 このことは、多くの言語モデルと低いパフォーマンスの言語モデルの間の振る舞いの対比が、知識学習の重要な手がかりを含んでおり、知識学習効率を真っ向から改善するために「増幅」できることを示している。

関連論文リスト

• Infusing Knowledge into Large Language Models with Contextual Prompts [5.865016596356753]
  入力テキスト中の文脈からプロンプトを生成することにより,知識注入のためのシンプルだが一般化可能なアプローチを提案する。 本実験は, 微調整LDMを用いて評価する手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-03T11:19:26Z)
• Quantifying and Analyzing Entity-level Memorization in Large Language Models [4.59914731734176]
  大規模言語モデル(LLM)は、トレーニングデータを記憶できることが証明されている。 記憶から生じるプライバシーリスクが注目されている。 実世界のシナリオに近い条件やメトリクスで記憶を定量化するための,詳細なエンティティレベルの定義を提案する。
  論文  参考訳（メタデータ） (2023-08-30T03:06:47Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Memorization Without Overfitting: Analyzing the Training Dynamics of Large Language Models [64.22311189896888]
  因果的および仮面的言語モデリング、モデルサイズ、およびトレーニングプロセス全体における正確な記憶について検討する。 驚くべきことに、大きなモデルは過度に適合する前にデータの大部分を記憶し、トレーニングプロセスを通して忘れる傾向にある。
  論文  参考訳（メタデータ） (2022-05-22T07:43:50Z)
• Knowledge Based Multilingual Language Model [44.70205282863062]
  知識に基づく多言語言語モデル(KMLM)を事前学習するための新しいフレームワークを提案する。 我々は、ウィキデータ知識グラフを用いて、大量のコード切替合成文と推論に基づく多言語学習データを生成する。 生成したデータの文内構造と文間構造に基づいて,知識学習を容易にするための事前学習タスクを設計する。
  論文  参考訳（メタデータ） (2021-11-22T02:56:04Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• Do Language Embeddings Capture Scales? [54.1633257459927]
  事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。 我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
  論文  参考訳（メタデータ） (2020-10-11T21:11:09Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。