Fugu-MT 論文翻訳(概要): Knowledge Infused Decoding

論文の概要: Knowledge Infused Decoding

arxiv url: http://arxiv.org/abs/2204.03084v1
Date: Wed, 6 Apr 2022 20:58:32 GMT
ステータス: 処理完了
システム内更新日: 2022-04-08 13:05:28.615400
Title: Knowledge Infused Decoding
Title（参考訳）: 知識を融合した復号
Authors: Ruibo Liu, Guoqing Zheng, Shashank Gupta, Radhika Gaonkar, Chongyang Gao, Soroush Vosoughi, Milad Shokouhi, Ahmed Hassan Awadallah
Abstract要約: Knowledge Infused Decoding (KID)は、生成言語モデル(LM)のための新しい復号アルゴリズムである。 KIDはLMデコーディングの各ステップに外部知識を動的に注入する。人間の評価は、入力コンテキストに対してより関連性があり、現実的な言語を生成するKIDの能力を確認する。
参考スコア（独自算出の注目度）: 46.09844215234235
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Pre-trained language models (LMs) have been shown to memorize a substantial amount of knowledge from the pre-training corpora; however, they are still limited in recalling factually correct knowledge given a certain context. Hence, they tend to suffer from counterfactual or hallucinatory generation when used in knowledge-intensive natural language generation (NLG) tasks. Recent remedies to this problem focus on modifying either the pre-training or task fine-tuning objectives to incorporate knowledge, which normally require additional costly training or architecture modification of LMs for practical applications. We present Knowledge Infused Decoding (KID) -- a novel decoding algorithm for generative LMs, which dynamically infuses external knowledge into each step of the LM decoding. Specifically, we maintain a local knowledge memory based on the current context, interacting with a dynamically created external knowledge trie, and continuously update the local memory as a knowledge-aware constraint to guide decoding via reinforcement learning. On six diverse knowledge-intensive NLG tasks, task-agnostic LMs (e.g., GPT-2 and BART) armed with KID outperform many task-optimized state-of-the-art models, and show particularly strong performance in few-shot scenarios over seven related knowledge-infusion techniques. Human evaluation confirms KID's ability to generate more relevant and factual language for the input context when compared with multiple baselines. Finally, KID also alleviates exposure bias and provides stable generation quality when generating longer sequences. Code for KID is available at https://github.com/microsoft/KID.
Abstract（参考訳）: 事前学習された言語モデル(lms)は、事前学習されたコーパスからかなりの量の知識を記憶することが示されているが、特定の文脈において事実的に正しい知識を思い出すことには制限がある。したがって、知識集約自然言語生成(nlg)タスクで使用されると、反事実的あるいは幻覚的な生成に苦しむ傾向がある。この問題に対する最近の改善は、知識を組み込むために事前訓練またはタスクの微調整の目的を変更することに焦点を当てている。本稿では、LMデコーディングの各ステップに外部知識を動的に注入する、生成型LMの新しいデコーディングアルゴリズムであるKnowledge Infused Decoding(KID)を提案する。具体的には,現在の文脈に基づいたローカル知識メモリを維持し,動的に生成された外部知識トリエと対話し,強化学習による復号化を導くための知識認識制約としてローカルメモリを継続的に更新する。 6つの多様な知識集約型NLGタスクにおいて、KIDで武装したタスク非依存のLM(例えば、GPT-2とBART)は多くのタスク最適化された最先端モデルより優れ、特に7つの関連する知識注入技術に関する少数のシナリオにおいて強い性能を示す。人間の評価は、複数のベースラインと比較すると、入力コンテキストに対してより関連性があり、現実的な言語を生成するKIDの能力を確認する。最後に、KIDは露光バイアスを軽減し、長いシーケンスを生成する際に安定した生成品質を提供する。 KIDのコードはhttps://github.com/microsoft/KIDで公開されている。

関連論文リスト

Resolving Editing-Unlearning Conflicts: A Knowledge Codebook Framework for Large Language Model Updating [61.70705744491162]
大きな言語モデル(LLM)は、人間の知識を符号化することで自然言語処理に優れる。 LLMの更新には、不要な知識を取り除くための学習と、新しい情報を統合するための編集という、2つの重要なタスクが同時に行われる。知識コードブックに基づく LLM 更新のためのコンフリクトフリーフレームワーク Loka を提案する。
論文参考訳（メタデータ） (2025-01-31T20:48:46Z)
KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
論文参考訳（メタデータ） (2024-12-06T11:08:24Z)
KIF: Knowledge Identification and Fusion for Language Model Continual Learning [41.28933724210434]
言語モデルのための新しいフレームワーク、Knowledge Identification and Fusion (KIF)を紹介する。 KIFはパラメータ依存に基づいてモデルを'スキルユニット'に分離し、より正確な制御を可能にする。新たな課題に対するスキルユニットの重要性の分布を確認するために,新しいグループ単位の知識識別技術を採用している。その結果、KIFは、事前知識の保持と、新しいタスクの卓越とを最適なバランスで達成する。
論文参考訳（メタデータ） (2024-08-09T17:44:45Z)
TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models [31.209774088374374]
本稿では,知識強化言語モデルのためのロバストかつ効率的な事前学習フレームワークであるTRELMを紹介する。我々は、知識を3倍に注入するための堅牢なアプローチと、価値ある情報を取得するための知識強化されたメモリバンクを採用しています。我々は,TRELMが事前学習時間を少なくとも50%削減し,知識探索タスクや複数の知識認識言語理解タスクにおいて,他のKEPLMよりも優れていることを示す。
論文参考訳（メタデータ） (2024-03-17T13:04:35Z)
InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [58.61492157691623]
知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。新しい知識を導入するリスクは、既存の知識を忘れることである。
論文参考訳（メタデータ） (2024-02-18T03:36:26Z)
UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文参考訳（メタデータ） (2023-05-02T17:33:28Z)
LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
論文参考訳（メタデータ） (2022-08-12T18:59:37Z)
TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
論文参考訳（メタデータ） (2022-03-16T10:37:59Z)
DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding [19.478288026844893]
知識強化事前学習言語モデル(英: Knowledge-Enhanced Pre-trained Language Models, KEPLM)は、知識グラフから3重関係を注入して言語理解能力を向上させる事前学習モデルである。従来の研究は、知識グラフから得られた知識を表現するための知識エンコーダとモデルを統合する。本稿では,事前学習,微調整,推論段階における事前学習言語モデルの知識注入過程を分解する,DKPLMという新しいKEPLMを提案する。
論文参考訳（メタデータ） (2021-12-02T08:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。