Fugu-MT 論文翻訳(概要): Knowledge Infused Decoding

論文の概要: Knowledge Infused Decoding

arxiv url: http://arxiv.org/abs/2204.03084v1
Date: Wed, 6 Apr 2022 20:58:32 GMT
ステータス: 処理完了
システム内更新日: 2022-04-08 13:05:28.615400
Title: Knowledge Infused Decoding
Title（参考訳）: 知識を融合した復号
Authors: Ruibo Liu, Guoqing Zheng, Shashank Gupta, Radhika Gaonkar, Chongyang Gao, Soroush Vosoughi, Milad Shokouhi, Ahmed Hassan Awadallah
Abstract要約: Knowledge Infused Decoding (KID)は、生成言語モデル(LM)のための新しい復号アルゴリズムである。 KIDはLMデコーディングの各ステップに外部知識を動的に注入する。人間の評価は、入力コンテキストに対してより関連性があり、現実的な言語を生成するKIDの能力を確認する。
参考スコア（独自算出の注目度）: 46.09844215234235
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Pre-trained language models (LMs) have been shown to memorize a substantial amount of knowledge from the pre-training corpora; however, they are still limited in recalling factually correct knowledge given a certain context. Hence, they tend to suffer from counterfactual or hallucinatory generation when used in knowledge-intensive natural language generation (NLG) tasks. Recent remedies to this problem focus on modifying either the pre-training or task fine-tuning objectives to incorporate knowledge, which normally require additional costly training or architecture modification of LMs for practical applications. We present Knowledge Infused Decoding (KID) -- a novel decoding algorithm for generative LMs, which dynamically infuses external knowledge into each step of the LM decoding. Specifically, we maintain a local knowledge memory based on the current context, interacting with a dynamically created external knowledge trie, and continuously update the local memory as a knowledge-aware constraint to guide decoding via reinforcement learning. On six diverse knowledge-intensive NLG tasks, task-agnostic LMs (e.g., GPT-2 and BART) armed with KID outperform many task-optimized state-of-the-art models, and show particularly strong performance in few-shot scenarios over seven related knowledge-infusion techniques. Human evaluation confirms KID's ability to generate more relevant and factual language for the input context when compared with multiple baselines. Finally, KID also alleviates exposure bias and provides stable generation quality when generating longer sequences. Code for KID is available at https://github.com/microsoft/KID.
Abstract（参考訳）: 事前学習された言語モデル(lms)は、事前学習されたコーパスからかなりの量の知識を記憶することが示されているが、特定の文脈において事実的に正しい知識を思い出すことには制限がある。したがって、知識集約自然言語生成(nlg)タスクで使用されると、反事実的あるいは幻覚的な生成に苦しむ傾向がある。この問題に対する最近の改善は、知識を組み込むために事前訓練またはタスクの微調整の目的を変更することに焦点を当てている。本稿では、LMデコーディングの各ステップに外部知識を動的に注入する、生成型LMの新しいデコーディングアルゴリズムであるKnowledge Infused Decoding(KID)を提案する。具体的には,現在の文脈に基づいたローカル知識メモリを維持し,動的に生成された外部知識トリエと対話し,強化学習による復号化を導くための知識認識制約としてローカルメモリを継続的に更新する。 6つの多様な知識集約型NLGタスクにおいて、KIDで武装したタスク非依存のLM(例えば、GPT-2とBART)は多くのタスク最適化された最先端モデルより優れ、特に7つの関連する知識注入技術に関する少数のシナリオにおいて強い性能を示す。人間の評価は、複数のベースラインと比較すると、入力コンテキストに対してより関連性があり、現実的な言語を生成するKIDの能力を確認する。最後に、KIDは露光バイアスを軽減し、長いシーケンスを生成する際に安定した生成品質を提供する。 KIDのコードはhttps://github.com/microsoft/KIDで公開されている。

関連論文リスト

KEHRL: Learning Knowledge-Enhanced Language Representations with Hierarchical Reinforcement Learning [32.086825891769585]
知識強化事前学習言語モデル(KEPLM)は知識グラフ(KG)から関係トリプルを利用する従来の研究は、知識の強化を2つの独立した操作、すなわち知識注入と知識統合として扱う。本稿では,不正確な知識や無関係な知識の注入を避けるために,知識注入位置の検出と外部知識のモデルへの統合という課題を共同で解決する。
論文参考訳（メタデータ） (2024-06-24T07:32:35Z)
TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models [31.209774088374374]
本稿では,知識強化言語モデルのためのロバストかつ効率的な事前学習フレームワークであるTRELMを紹介する。我々は、知識を3倍に注入するための堅牢なアプローチと、価値ある情報を取得するための知識強化されたメモリバンクを採用しています。我々は,TRELMが事前学習時間を少なくとも50%削減し,知識探索タスクや複数の知識認識言語理解タスクにおいて,他のKEPLMよりも優れていることを示す。
論文参考訳（メタデータ） (2024-03-17T13:04:35Z)
InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [61.554209059971576]
大規模言語モデル(LLM)は、様々な領域にまたがる顕著なオープンジェネレーション機能を示している。新しい知識を注入すると、以前に獲得した知識を忘れるリスクが生じる。 Infuser-Guided Knowledge Integration フレームワークを提案する。
論文参考訳（メタデータ） (2024-02-18T03:36:26Z)
A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文参考訳（メタデータ） (2024-01-02T16:54:58Z)
KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases [55.942342665806656]
KnowledGPTは、様々な知識ベースで大きな言語モデルをブリッジするための包括的なフレームワークである。検索プロセスでは思考プロンプトプログラムを使用し,KBの検索言語をコード形式で生成する。 KnowledGPTは、個々のユーザ要求に合わせて、知識をパーソナライズされたKBに格納する機能を提供する。
論文参考訳（メタデータ） (2023-08-17T13:07:00Z)
UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文参考訳（メタデータ） (2023-05-02T17:33:28Z)
KILM: Knowledge Injection into Encoder-Decoder Language Models [26.44077668498835]
大規模事前学習言語モデル(PLM)は、パラメータ内で暗黙の知識を保持することが示されている。本稿では,エンティティ関連知識をエンコーダ・デコーダ PLM に注入する手法として,言語モデルへの知識注入(KILM)を提案する。 KILMは、一般的なNLUタスクやNLGタスクでの本来のパフォーマンスを維持しながら、モデルがより多くの知識を保持し、幻覚を少なくすることを可能にする。
論文参考訳（メタデータ） (2023-02-17T22:48:07Z)
LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
論文参考訳（メタデータ） (2022-08-12T18:59:37Z)
TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
論文参考訳（メタデータ） (2022-03-16T10:37:59Z)
DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding [19.478288026844893]
知識強化事前学習言語モデル(英: Knowledge-Enhanced Pre-trained Language Models, KEPLM)は、知識グラフから3重関係を注入して言語理解能力を向上させる事前学習モデルである。従来の研究は、知識グラフから得られた知識を表現するための知識エンコーダとモデルを統合する。本稿では,事前学習,微調整,推論段階における事前学習言語モデルの知識注入過程を分解する,DKPLMという新しいKEPLMを提案する。
論文参考訳（メタデータ） (2021-12-02T08:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。