論文の概要: ConstraintChecker: A Plugin for Large Language Models to Reason on Commonsense Knowledge Bases

• arxiv url: http://arxiv.org/abs/2401.14003v1
• Date: Thu, 25 Jan 2024 08:03:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 15:21:15.749897
• Title: ConstraintChecker: A Plugin for Large Language Models to Reason on Commonsense Knowledge Bases
• Title（参考訳）: ConstraintChecker:Commonsenseの知識ベースに基づく大規模言語モデルのためのプラグイン
• Authors: Quyet V. Do, Tianqing Fang, Shizhe Diao, Zhaowei Wang, Yangqiu Song
• Abstract要約: コモンセンス知識ベース(CSKB)に対する推論は,新しいコモンセンス知識を取得する方法として検討されてきた。 我々は**ConstraintChecker*を提案します。
• 参考スコア（独自算出の注目度）: 53.29427395419317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning over Commonsense Knowledge Bases (CSKB), i.e. CSKB reasoning, has been explored as a way to acquire new commonsense knowledge based on reference knowledge in the original CSKBs and external prior knowledge. Despite the advancement of Large Language Models (LLM) and prompt engineering techniques in various reasoning tasks, they still struggle to deal with CSKB reasoning. One of the problems is that it is hard for them to acquire explicit relational constraints in CSKBs from only in-context exemplars, due to a lack of symbolic reasoning capabilities (Bengio et al., 2021). To this end, we proposed **ConstraintChecker**, a plugin over prompting techniques to provide and check explicit constraints. When considering a new knowledge instance, ConstraintChecker employs a rule-based module to produce a list of constraints, then it uses a zero-shot learning module to check whether this knowledge instance satisfies all constraints. The acquired constraint-checking result is then aggregated with the output of the main prompting technique to produce the final output. Experimental results on CSKB Reasoning benchmarks demonstrate the effectiveness of our method by bringing consistent improvements over all prompting methods. Codes and data are available at \url{https://github.com/HKUST-KnowComp/ConstraintChecker}.
• Abstract（参考訳）: コモンセンス知識ベース(CSKB)に対する推論(CSKB推論)は、CSKBの参照知識と外部の事前知識に基づいて新しいコモンセンス知識を取得する方法として研究されている。 LLM(Large Language Models)の進歩と様々な推論タスクにおける工学的テクニックの促進にもかかわらず、彼らはCSKB推論を扱うのに苦労している。 問題の1つは、シンボリック推論能力の欠如 (Bengio et al., 2021) により、CSKBの明示的な関係制約を文脈内のみから取得することが難しいことである。 この目的のために、私たちは**constraintchecker**という、明示的な制約を提供し、チェックするためのテクニックを推奨するプラグインを提案しました。 新しい知識インスタンスを考える場合、ConstraintCheckerは制約のリストを生成するためにルールベースのモジュールを使用し、ゼロショット学習モジュールを使用して、この知識インスタンスがすべての制約を満たすかどうかをチェックする。 そして、取得した制約チェック結果をメインプロンプト手法の出力に集約して最終的な出力を生成する。 CSKB推論ベンチマークの実験結果から,全てのプロンプト法に対して一貫した改善を行うことにより,本手法の有効性を示す。 コードとデータは \url{https://github.com/hkust-knowcomp/constraintchecker} で入手できる。

関連論文リスト

• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• From Instructions to Constraints: Language Model Alignment with Automatic Constraint Verification [70.08146540745877]
  NLPタスクの共通制約を調査し、それらの引数の型に基づいて、それらを3つのクラスに分類する。 本稿では,ACT(ConsTraintsのアラインメント)という統合フレームワークを提案し,制約に適応したユーザアライメントのための監視信号を自動的に生成する。
  論文  参考訳（メタデータ） (2024-03-10T22:14:54Z)
• DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
  多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。 我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。 DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T03:48:27Z)
• Learning to Learn in Interactive Constraint Acquisition [7.741303298648302]
  制約獲得(CA:Constraint Acquisition)では、モデルを自動的に学習することでユーザを支援することが目標である。 アクティブCAでは、クエリを対話的にユーザにポストすることでこれを行う。 本稿では、確率論的分類モデルを用いて対話型CAを誘導し、より有望なクエリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-12-17T19:12:33Z)
• CAR: Conceptualization-Augmented Reasoner for Zero-Shot Commonsense Question Answering [56.592385613002584]
  ゼロショットコモンセンス質問応答の課題に対処するために,概念化強化推論器(CAR)を提案する。 CARは、CommonSenseの知識を多くの高レベルなインスタンスに抽象化し、CommonSenseの知識ベースの範囲を拡大する。 CARは、既存のメソッドよりも、ゼロショットのコモンセンスシナリオに関する質問に答えることにより、より堅牢に一般化する。
  論文  参考訳（メタデータ） (2023-05-24T08:21:31Z)
• Bounding the Capabilities of Large Language Models in Open Text Generation with Prompt Constraints [38.69469206527995]
  我々は、オープンエンド生成モデルの能力を解析し、有界化するために、即時中心のアプローチをとる。 本稿では,構造的およびスタイリスティックな2つの制約型を用いた解析手法を提案する。 我々の研究成果と文脈内緩和戦略は、今後の研究におけるオープンな課題を明らかにする。
  論文  参考訳（メタデータ） (2023-02-17T23:30:28Z)
• TIARA: Multi-grained Retrieval for Robust Question Answering over Large Knowledge Bases [20.751369684593985]
  TIARAは、PLMやオラクルエンティティアノテーションなどを含む以前のSOTAよりも、GrailQAおよびWebQuestionsSP上の少なくとも4.1と1.1のF1ポイントが優れている。
  論文  参考訳（メタデータ） (2022-10-24T02:41:10Z)
• BoxE: A Box Embedding Model for Knowledge Base Completion [53.57588201197374]
  知識ベース補完(KBC)は、知識ベース(KB)に存在する情報を活用することにより、行方不明な事実を自動的に推測することを目的とする。 既存の埋め込みモデルは、以下の制限の少なくとも1つに該当する。 BoxEは、エンティティをポイントとして、関係をハイパー矩形(またはボックス)の集合として埋め込む
  論文  参考訳（メタデータ） (2020-07-13T09:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。