論文の概要: Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary

• arxiv url: http://arxiv.org/abs/2310.15541v1
• Date: Tue, 24 Oct 2023 06:15:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 20:19:56.027039
• Title: Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary
• Title（参考訳）: 辞書から概念的役割を学習することによる理解と一貫性の言語モデルの改善
• Authors: Myeongjun Erik Jang, Thomas Lukasiewicz
• Abstract要約: 現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 65.268245109828
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The non-humanlike behaviour of contemporary pre-trained language models (PLMs) is a leading cause undermining their trustworthiness. A striking phenomenon of such faulty behaviours is the generation of inconsistent predictions, which produces logically contradictory results, such as generating different predictions for texts delivering the same meaning or violating logical properties. Previous studies exploited data augmentation or implemented specialised loss functions to alleviate the issue. However, their usage is limited, because they consume expensive training resources for large-sized PLMs and can only handle a certain consistency type. To this end, we propose a practical approach that alleviates the inconsistent behaviour issue by fundamentally improving PLMs' meaning awareness. Based on the conceptual role theory, our method allows PLMs to capture accurate meaning by learning precise interrelationships between concepts from word-definition pairs in a dictionary. Next, we propose an efficient parameter integration technique that updates only a few additional parameters to combine the learned interrelationship with PLMs' pre-trained knowledge. Our experimental results reveal that the approach can concurrently improve multiple types of consistency, enables efficient knowledge integration, and easily applies to other languages.
• Abstract（参考訳）: 現代事前訓練言語モデル(PLM)の非人間的な振る舞いは、その信頼性を損なう主要な原因である。 このような不整合な振る舞いの驚くべき現象は、一貫性のない予測の生成であり、同じ意味を持つテキストに対して異なる予測を生成したり、論理特性に違反するなど、論理的に矛盾する結果を生み出す。 以前の研究では、データの増大を悪用したり、問題を緩和するために特殊な損失関数を実装した。 しかし、大規模なPLMのために高価なトレーニングリソースを消費し、一定の一貫性のタイプしか扱えないため、利用は限られている。 そこで本研究では,plmの意味認識を根本的に改善することにより,一貫性のない行動問題を緩和する実践的アプローチを提案する。 概念的役割理論に基づき,辞書内の単語定義ペアから概念間の正確な相互関係を学習することにより,plmが正確な意味を捉えることができる。 次に,学習した相互関係とPLMの事前学習知識を組み合わせるために,いくつかの追加パラメータのみを更新する効率的なパラメータ統合手法を提案する。 実験の結果,複数種類の一貫性を同時に改善し,効率的な知識統合を実現し,他の言語にも容易に適用できることが判明した。

関連論文リスト

• Tuning-Free Accountable Intervention for LLM Deployment -- A Metacognitive Approach [55.613461060997004]
  大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。 我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T19:18:53Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
  概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。 出力予測が大幅に変化する特徴を最適化する。 本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T14:48:27Z)
• Towards Linguistically Informed Multi-Objective Pre-Training for Natural Language Inference [0.38233569758620045]
  本稿では,トランスのための事前学習手法を言語的に強化した組み合わせを提案する。 事前トレーニング対象にはPOSタグ付け、セマンティック知識グラフに基づく構文予測、依存性解析木に基づく親予測が含まれる。 提案手法は, 自然言語推論タスクにおいて, 技術状況と比較して, 競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-12-14T10:50:13Z)
• Semantic Interactive Learning for Text Classification: A Constructive Approach for Contextual Interactions [0.0]
  本稿では,テキスト領域に対するセマンティック対話学習という新しいインタラクションフレームワークを提案する。 構築的および文脈的フィードバックを学習者に取り入れることで、人間と機械間のよりセマンティックなアライメントを実現するアーキテクチャを見つけることができる。 本研究では,人間の概念的修正を非外挿訓練例に翻訳するのに有効なSemanticPushという手法を提案する。
  論文  参考訳（メタデータ） (2022-09-07T08:13:45Z)
• Measuring and Improving Consistency in Pretrained Language Models [40.46184998481918]
  予測言語モデル(PLM)は、事実的知識に関して一貫性があるか? ParaRel を用いて、我々が実験したすべての PLM の整合性は貧弱であるが、関係のばらつきは高い。
  論文  参考訳（メタデータ） (2021-02-01T17:48:42Z)
• Learning Causal Semantic Representation for Out-of-Distribution Prediction [125.38836464226092]
  因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。 CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
  論文  参考訳（メタデータ） (2020-11-03T13:16:05Z)
• Pre-training Text-to-Text Transformers for Concept-centric Common Sense [48.11844351407072]
  本稿では,概念中心のコモンセンス知識を用いた事前学習型言語モデルの拡張を目的とした概念認識型言語モデル(CALM)を提案する。 我々は,CALMが外部知識グラフに頼ることなく,事前学習したテキスト・テキスト・トランスフォーマーのパラメータに,より常識的な知識を詰め込むことができることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:00:37Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。