論文の概要: Modelling Commonsense Properties using Pre-Trained Bi-Encoders

• arxiv url: http://arxiv.org/abs/2210.02771v1
• Date: Thu, 6 Oct 2022 09:17:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 15:07:38.959761
• Title: Modelling Commonsense Properties using Pre-Trained Bi-Encoders
• Title（参考訳）: 事前学習バイエンコーダを用いたコモンセンス特性のモデル化
• Authors: Amit Gajbhiye, Luis Espinosa-Anke, Steven Schockaert
• Abstract要約: 概念とその特性をモデル化するための微調整言語モデルの可能性について検討する。 実験結果から,得られたエンコーダにより,より高い精度でコモンセンス特性を予測できることが示唆された。
• 参考スコア（独自算出の注目度）: 40.327695801431375
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Grasping the commonsense properties of everyday concepts is an important prerequisite to language understanding. While contextualised language models are reportedly capable of predicting such commonsense properties with human-level accuracy, we argue that such results have been inflated because of the high similarity between training and test concepts. This means that models which capture concept similarity can perform well, even if they do not capture any knowledge of the commonsense properties themselves. In settings where there is no overlap between the properties that are considered during training and testing, we find that the empirical performance of standard language models drops dramatically. To address this, we study the possibility of fine-tuning language models to explicitly model concepts and their properties. In particular, we train separate concept and property encoders on two types of readily available data: extracted hyponym-hypernym pairs and generic sentences. Our experimental results show that the resulting encoders allow us to predict commonsense properties with much higher accuracy than is possible by directly fine-tuning language models. We also present experimental results for the related task of unsupervised hypernym discovery.
• Abstract（参考訳）: 日常概念の共通性を理解することは言語理解の重要な前提条件である。 文脈化された言語モデルは人間のレベルの精度でそのようなコモンセンス特性を予測できると言われているが、これらの結果はトレーニングとテストの概念の相似性が高いために膨らませられていると論じる。 これは、概念の類似性を捉えるモデルは、たとえコモンセンスプロパティ自体の知識を捉えていなくても、うまく機能することを意味する。 トレーニングとテストの間に考慮されるプロパティの重複がない環境では、標準言語モデルの経験的パフォーマンスが劇的に低下していることが分かりました。 そこで本研究では,概念とその特性をモデル化するための微調整言語モデルの可能性について検討する。 特に,抽出されたhyponym-hypernym対とジェネリック文の2種類のデータに対して,分離概念とプロパティエンコーダを訓練する。 実験結果から,得られたエンコーダにより,言語モデルを直接調整することで,より高精度でコモンセンス特性を予測できることがわかった。 また,非教師なしハイパーニム発見のタスクについて実験結果を示す。

関連論文リスト

• CONTESTS: a Framework for Consistency Testing of Span Probabilities in Language Models [16.436592723426305]
  単語スパンに関節確率を割り当てる異なる方法で、言語モデルが同じ値を生成するかどうかは不明である。 我々の研究はConTestSという新しいフレームワークを導入し、交換可能な完了順序と条件付き順序でスコアの整合性を評価する統計的テストを含む。
  論文  参考訳（メタデータ） (2024-09-30T06:24:43Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
  概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。 出力予測が大幅に変化する特徴を最適化する。 本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T14:48:27Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• Distilling Relation Embeddings from Pre-trained Language Models [35.718167335989854]
  事前学習した言語モデルから関係埋め込みを蒸留することが可能であることを示す。 我々は、(手動または自動生成)プロンプトを使って単語ペアを符号化し、言語モデルを微調整する。 結果として得られる関係埋め込みは、アナログ(教師なし)と関係分類(教師なし)のベンチマークで非常に競合する。
  論文  参考訳（メタデータ） (2021-09-21T15:05:27Z)
• On the Lack of Robust Interpretability of Neural Text Classifiers [14.685352584216757]
  本研究では,事前学習したトランスフォーマーエンコーダをベースとしたニューラルテキスト分類器の解釈の堅牢性を評価する。 どちらのテストも、期待された行動から驚くほど逸脱しており、実践者が解釈から引き出す可能性のある洞察の程度について疑問を呈している。
  論文  参考訳（メタデータ） (2021-06-08T18:31:02Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Are Some Words Worth More than Others? [3.5598388686985354]
  簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。 提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-10-12T23:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。