論文の概要: COMPS: Conceptual Minimal Pair Sentences for testing Property Knowledge and Inheritance in Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2210.01963v2
• Date: Thu, 6 Oct 2022 14:10:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 14:49:35.071997
• Title: COMPS: Conceptual Minimal Pair Sentences for testing Property Knowledge and Inheritance in Pre-trained Language Models
• Title（参考訳）: COMPS:事前学習言語モデルにおける概念最小ペア文による特性知識と継承性のテスト
• Authors: Kanishka Misra, Julia Taylor Rayz, Allyson Ettinger
• Abstract要約: そこで本論文では,PLM(pre-trained language model)とPLM(pre-trained language model)を共同でテストする,最小対文の集合であるComposについて述べる。 COMPS 上の 22 個の異なる PLM の解析は、それらが自明に異なるとき、その性質に基づいて容易に概念を区別できることを明らかにする。 PLMはプロパティ継承と大きく整合した動作を示すことができるが、注意をそらす情報の存在下では失敗する。
• 参考スコア（独自算出の注目度）: 8.08493736237816
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A characteristic feature of human semantic memory is its ability to not only store and retrieve the properties of concepts observed through experience, but to also facilitate the inheritance of properties (can breathe) from superordinate concepts (animal) to their subordinates (dog) -- i.e. demonstrate property inheritance. In this paper, we present COMPS, a collection of minimal pair sentences that jointly tests pre-trained language models (PLMs) on their ability to attribute properties to concepts and their ability to demonstrate property inheritance behavior. Analyses of 22 different PLMs on COMPS reveal that they can easily distinguish between concepts on the basis of a property when they are trivially different, but find it relatively difficult when concepts are related on the basis of nuanced knowledge representations. Furthermore, we find that PLMs can demonstrate behavior consistent with property inheritance to a great extent, but fail in the presence of distracting information, which decreases the performance of many models, sometimes even below chance. This lack of robustness in demonstrating simple reasoning raises important questions about PLMs' capacity to make correct inferences even when they appear to possess the prerequisite knowledge.
• Abstract（参考訳）: 人間のセマンティックメモリの特徴は、経験を通して観察された概念のプロパティを保存し、取り出すだけでなく、スーパーオーディネートな概念(動物)から従属的な概念(犬)へのプロパティ(呼吸)の継承を促進する能力である。 本稿では,事前学習された言語モデル(plms)を共同でテストし,概念に属性を付与する能力と,特性継承の振る舞いを実証する能力について述べる。 comps上の22の異なるplmの分析により、それらは自明に異なる性質に基づいて容易に概念を区別できるが、概念がニュアンス化された知識表現に基づいて関連している場合、比較的難しいことが分かる。 さらに, PLM は, プロパティ継承に一貫性のある動作を示すことができるが, 多くのモデルの性能を低下させ, 場合によってはチャンスを下回っている。 この単純な推論の頑健さの欠如は、前提となる知識を持っているように見える場合でも正しい推論を行うplmの能力に関する重要な疑問を提起する。

関連論文リスト

• Characterizing the Role of Similarity in the Property Inferences of Language Models [18.343082712114715]
  本研究では, 行動・因果的表現解析実験を用いて, LMの資産継承について検討する。 分類学と分類学的類似性は、LMsの資産相続行動において相互に排他的ではない。 本研究は,言語モデルの概念的構造に関する知見を提供し,人体に対する新たな心理言語学的実験を提案する。
  論文  参考訳（メタデータ） (2024-10-29T23:05:41Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Experimental Contexts Can Facilitate Robust Semantic Property Inference in Language Models, but Inconsistently [23.637384318644287]
  本稿では,実験環境がプロパティ継承を行う際のLMの堅牢性を向上させることができるケーススタディを提案する。 タスクの最小限の修正により、いくつかのLMは入力から浅い非セマンティックを拾うことが判明した。
  論文  参考訳（メタデータ） (2024-01-12T15:40:31Z)
• Probing Pretrained Language Models with Hierarchy Properties [3.9694958595022376]
  本研究では, PLM が複雑な分類学関係をどの程度捉えることができるかを評価することができるタスク非依存評価手法を提案する。 提案するプロパティを PLM に注入することで,階層構造に対する理解を深めることができることを示す。
  論文  参考訳（メタデータ） (2023-12-15T10:31:36Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Learning Conditional Attributes for Compositional Zero-Shot Learning [78.24309446833398]
  合成ゼロショット学習(CZSL)は、新しい合成概念を認識するためにモデルを訓練することを目的としている。 課題の1つは、異なる物体、例えば「濡れたリンゴ」と「濡れた猫」の属性をモデル化することである。 我々は、属性が認識対象と入力画像に条件付けされていることを議論し、条件付き属性の埋め込みを学習する。
  論文  参考訳（メタデータ） (2023-05-29T08:04:05Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• A Property Induction Framework for Neural Language Models [8.08493736237816]
  本稿では,ニューラルネットワーク言語モデル(LM)を用いて特性誘導を行うフレームワークを提案する。 LMは,カテゴリメンバシップに基づいて,新規プロパティを一般化する帰納的嗜好を示す。
  論文  参考訳（メタデータ） (2022-05-13T22:05:49Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)
• Contrastive Explanations for Reinforcement Learning via Embedded Self Predictions [24.460079819591677]
  本研究では,学習者が他者よりも行動を好む理由を説明するための,深層強化学習アーキテクチャについて検討する。 鍵となる考え方は、期待される未来の人間の理解可能な特性を通して直接表現されるアクション値を学ぶことである。 複雑な戦略ゲームを含む3つの領域におけるケーススタディは、ESPモデルを効果的に学習し、洞察に富んだ説明を支援することができることを示している。
  論文  参考訳（メタデータ） (2020-10-11T07:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。