論文の概要: KSAT: Knowledge-infused Self Attention Transformer -- Integrating Multiple Domain-Specific Contexts

• arxiv url: http://arxiv.org/abs/2210.04307v2
• Date: Sat, 24 Jun 2023 04:33:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 00:37:23.989460
• Title: KSAT: Knowledge-infused Self Attention Transformer -- Integrating Multiple Domain-Specific Contexts
• Title（参考訳）: KSAT: 知識を注入した自己注意変換 -- 複数のドメイン特有なコンテキストを統合する
• Authors: Kaushik Roy, Yuxin Zi, Vignesh Narayanan, Manas Gaur, Amit Sheth
• Abstract要約: ドメイン固有の言語理解には、関連する複数のコンテキスト情報を統合する必要がある。 本稿では,複数のドメイン固有のコンテキストの統合を実現する知識注入型自己注意変換器(KSAT)を提案する。 KSATは、知識ソースごとに専用の自己注意層に知識誘導バイアスを導入し、これを実現する。
• 参考スコア（独自算出の注目度）: 11.008412414253662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain-specific language understanding requires integrating multiple pieces of relevant contextual information. For example, we see both suicide and depression-related behavior (multiple contexts) in the text ``I have a gun and feel pretty bad about my life, and it wouldn't be the worst thing if I didn't wake up tomorrow''. Domain specificity in self-attention architectures is handled by fine-tuning on excerpts from relevant domain specific resources (datasets and external knowledge - medical textbook chapters on mental health diagnosis related to suicide and depression). We propose a modified self-attention architecture Knowledge-infused Self Attention Transformer (KSAT) that achieves the integration of multiple domain-specific contexts through the use of external knowledge sources. KSAT introduces knowledge-guided biases in dedicated self-attention layers for each knowledge source to accomplish this. In addition, KSAT provides mechanics for controlling the trade-off between learning from data and learning from knowledge. Our quantitative and qualitative evaluations show that (1) the KSAT architecture provides novel human-understandable ways to precisely measure and visualize the contributions of the infused domain contexts, and (2) KSAT performs competitively with other knowledge-infused baselines and significantly outperforms baselines that use fine-tuning for domain-specific tasks.
• Abstract（参考訳）: ドメイン固有の言語理解には、関連する複数のコンテキスト情報を統合する必要がある。 例えば、「私は銃を持っていて、人生にかなり悪いと感じている」という文章には、自殺とうつ病に関連する行動(複数の文脈)の両方が見られます。 自己完結アーキテクチャにおけるドメイン特異性は、関連するドメイン固有リソース(データセットと外部知識-自殺と抑うつに関連するメンタルヘルス診断に関する医学教科書章)からの抜粋を微調整することで処理される。 本稿では、外部知識源を用いて複数のドメイン固有のコンテキストの統合を実現する、知識注入型自己注意変換器(KSAT)を提案する。 KSATは、知識ソースごとに専用の自己注意層に知識誘導バイアスを導入し、これを実現する。 さらに、KSATはデータから学ぶことと知識から学ぶことの間のトレードオフを制御するためのメカニズムを提供する。 定量的および定性的な評価の結果,(1)KSATアーキテクチャは, 注入されたドメインコンテキストのコントリビューションを正確に測定し視覚化するための, 新規な人間理解可能な方法を提供し, (2) KSATは他の知識注入されたベースラインと競合し, ドメイン固有のタスクを微調整するベースラインを著しく上回ることを示した。

関連論文リスト

• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Utilizing Background Knowledge for Robust Reasoning over Traffic Situations [63.45021731775964]
  我々は、インテリジェントトランスポーテーションの補完的な研究側面である交通理解に焦点を当てる。 本研究は,豊富なコモンセンス知識を前提として,テキストベースの手法とデータセットを対象とする。 交通状況に対するゼロショットQAには3つの知識駆動アプローチを採用しています。
  論文  参考訳（メタデータ） (2022-12-04T09:17:24Z)
• Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
  本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。 特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。 このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-18T18:41:36Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)
• KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA [107.7091094498848]
  VQAの最も難しい質問の1つは、質問に答えるために画像に存在しない外部の知識を必要とする場合です。 本研究では,解答に必要な知識が与えられたり記入されたりしないオープンドメイン知識を,トレーニング時やテスト時にも検討する。 知識表現と推論には2つのタイプがあります。 まず、トランスベースのモデルで教師なし言語事前トレーニングと教師付きトレーニングデータから効果的に学ぶことができる暗黙的な知識。
  論文  参考訳（メタデータ） (2020-12-20T20:13:02Z)
• Domain-specific Knowledge Graphs: A survey [4.56877715768796]
  この調査はドメイン固有のKGの包括的定義を提供する最初のものである。 現在のアプローチを検討すると、さまざまな限界と欠陥が明らかになる。 研究地図に記載されていない領域は、文献の既存の問題に対処するために強調されている。
  論文  参考訳（メタデータ） (2020-10-31T10:39:53Z)
• Knowledge-enriched, Type-constrained and Grammar-guided Question Generation over Knowledge Bases [20.412744079015475]
  知識ベース上の質問生成(KBQG)は、サブグラフに関する自然言語の質問を生成することを目的としている。 現在のエンコーダデコーダベースの手法、特に小さなサブグラフでは、大きな課題が2つ残っている。 我々は、KTGという、知識に富んだ、型に制約のある、文法に制約のあるKBQGモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-07T04:49:48Z)
• Domain Adaption for Knowledge Tracing [65.86619804954283]
  本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。 まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。 第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
  論文  参考訳（メタデータ） (2020-01-14T15:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。