論文の概要: Revisiting Generative Commonsense Reasoning: A Pre-Ordering Approach

• arxiv url: http://arxiv.org/abs/2205.13183v1
• Date: Thu, 26 May 2022 06:36:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-28 03:55:45.074979
• Title: Revisiting Generative Commonsense Reasoning: A Pre-Ordering Approach
• Title（参考訳）: 生成コモンセンス推論を再考する - 事前注文アプローチ
• Authors: Chao Zhao and Faeze Brahman and Tenghao Huang and Snigdha Chaturvedi
• Abstract要約: 入力概念の順序は,PTMの常識的知識を活用できる能力に影響を及ぼす可能性があると論じる。 生成前に与えられた概念の順序を精巧に操作するための事前注文手法を提案する。
• 参考スコア（独自算出の注目度）: 16.91261958272558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained models (PTMs) have lead to great improvements in natural language generation (NLG). However, it is still unclear how much commonsense knowledge they possess. With the goal of evaluating commonsense knowledge of NLG models, recent work has proposed the problem of generative commonsense reasoning, e.g., to compose a logical sentence given a set of unordered concepts. Existing approaches to this problem hypothesize that PTMs lack sufficient parametric knowledge for this task, which can be overcome by introducing external knowledge or task-specific pre-training objectives. Different from this trend, we argue that PTM's inherent ability for generative commonsense reasoning is underestimated due to the order-agnostic property of its input. In particular, we hypothesize that the order of the input concepts can affect the PTM's ability to utilize its commonsense knowledge. To this end, we propose a pre-ordering approach to elaborately manipulate the order of the given concepts before generation. Experiments show that our approach can outperform the more sophisticated models that have access to a lot of external data and resources.
• Abstract（参考訳）: 事前学習モデル(PTM)は自然言語生成(NLG)を大幅に改善した。 しかし、どの程度の常識知識を持っているのかは不明である。 NLGモデルのコモンセンス知識を評価することを目的として、最近の研究は、生成コモンセンス推論(例えば、順序のない概念の集合を与えられた論理文を構成する)の問題を提案した。 既存のアプローチでは、PTMは、外部知識やタスク固有の事前学習目標を導入することで克服できる、このタスクに十分なパラメトリック知識を欠いていると仮定されている。 この傾向と異なり, PTMの生成コモンセンス推論能力は, 入力の順序に依存しない性質から過小評価されている。 特に,入力概念の順序が,その常識的知識を利用するPTMの能力に影響を与えると仮定する。 そこで本研究では,与えられた概念の順序を生成前に精巧に操作する事前注文手法を提案する。 実験によると、我々のアプローチは、多くの外部データやリソースにアクセスするより洗練されたモデルよりも優れています。

関連論文リスト

• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Learning to Predict Concept Ordering for Common Sense Generation [32.2052248473022]
  入力概念の順序付けと生成文の品質の関係について検討する。 BART-largeモデルは,本研究で検討した他のLMよりも一貫して優れていた。 GPT3ベースの大きな言語モデル(LLM)は、必ずしもこのタスクにおいてより小さなLMよりも優れているとは限らない。
  論文  参考訳（メタデータ） (2023-09-12T16:27:18Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)
• Evaluate Confidence Instead of Perplexity for Zero-shot Commonsense Reasoning [85.1541170468617]
  本稿では,コモンセンス推論の性質を再考し,新しいコモンセンス推論尺度であるNon-Replacement Confidence(NRC)を提案する。 提案手法は,2つのコモンセンス推論ベンチマークデータセットと,さらに7つのコモンセンス質問応答データセットに対してゼロショット性能を向上する。
  論文  参考訳（メタデータ） (2022-08-23T14:42:14Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
  自然言語における常識推論は、人工知能システムの望ましい能力である。 複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。 有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
  論文  参考訳（メタデータ） (2022-05-04T01:27:36Z)
• ArT: All-round Thinker for Unsupervised Commonsense Question-Answering [54.068032948300655]
  本稿では,知識生成における関連性を完全に取り除き,オールラウンド思考者(ArT)のアプローチを提案する。 我々は、COPA、SocialIQA、SCTの3つの共通センスQAベンチマークで評価した。
  論文  参考訳（メタデータ） (2021-12-26T18:06:44Z)
• Logic Constraints to Feature Importances [17.234442722611803]
  AIモデルの"ブラックボックス"の性質は、診断技術や自律的ガイドなど、高度な分野における信頼性の高い応用の限界であることが多い。 近年の研究では、適切な解釈可能性のレベルが、モデル信頼性というより一般的な概念を強制できることが示されている。 本論文の基本的な考え方は,特定のタスクにおける特徴の重要性に関する人間の事前知識を利用して,モデルの適合のフェーズを整合的に支援することである。
  論文  参考訳（メタデータ） (2021-10-13T09:28:38Z)
• Pre-Trained Models: Past, Present and Future [126.21572378910746]
  大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。 知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
  論文  参考訳（メタデータ） (2021-06-14T02:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。