論文の概要: Experimental Contexts Can Facilitate Robust Semantic Property Inference
in Language Models, but Inconsistently
- arxiv url: http://arxiv.org/abs/2401.06640v1
- Date: Fri, 12 Jan 2024 15:40:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 19:11:08.919896
- Title: Experimental Contexts Can Facilitate Robust Semantic Property Inference
in Language Models, but Inconsistently
- Title(参考訳): 実験的文脈は言語モデルにおけるロバストな意味的特性推論をファシリテートするが、矛盾する
- Authors: Kanishka Misra, Allyson Ettinger, Kyle Mahowald
- Abstract要約: 本稿では,実験環境がプロパティ継承を行う際のLMの堅牢性を向上させることができるケーススタディを提案する。
タスクの最小限の修正により、いくつかのLMは入力から浅い非セマンティックを拾うことが判明した。
- 参考スコア(独自算出の注目度): 26.56605115674999
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent zero-shot evaluations have highlighted important limitations in the
abilities of language models (LMs) to perform meaning extraction. However, it
is now well known that LMs can demonstrate radical improvements in the presence
of experimental contexts such as in-context examples and instructions. How well
does this translate to previously studied meaning-sensitive tasks? We present a
case-study on the extent to which experimental contexts can improve LMs'
robustness in performing property inheritance -- predicting semantic properties
of novel concepts, a task that they have been previously shown to fail on. Upon
carefully controlling the nature of the in-context examples and the
instructions, our work reveals that they can indeed lead to non-trivial
property inheritance behavior in LMs. However, this ability is inconsistent:
with a minimal reformulation of the task, some LMs were found to pick up on
shallow, non-semantic heuristics from their inputs, suggesting that the
computational principles of semantic property inference are yet to be mastered
by LMs.
- Abstract(参考訳): 最近のゼロショット評価では、意味抽出を行う言語モデル(LM)の重要な制限が強調されている。
しかし、現在では、実例や命令のような実験的な文脈の存在において、LMが根本的な改善を示すことが知られている。
これは、以前研究された意味に敏感なタスクにどの程度うまく翻訳できるのか?
我々は、実験的なコンテキストがプロパティ継承を行う際のlmsのロバスト性 -- 新規概念のセマンティクス特性を予測する -- をいかに改善できるか、というケーススタディを提示する。
インコンテキストの例と命令の性質を慎重に制御すると、本研究はLMにおける非自明なプロパティ継承挙動につながることを明らかにした。
しかし、この能力は矛盾しており、タスクの最小限の再構成で、いくつかのlmsが入力から浅い非意味論的ヒューリスティックを拾い上げることが分かり、意味的性質推論の計算原理はまだlmsによってマスターされていないことを示唆した。
関連論文リスト
- Uncertainty Decomposition and Quantification for In-Context Learning of
Large Language Models [54.18411645870683]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳(メタデータ) (2024-02-15T18:46:24Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Reasoning or Reciting? Exploring the Capabilities and Limitations of
Language Models Through Counterfactual Tasks [54.939309284692406]
最近の言語モデルは、幅広いタスクで印象的なパフォーマンスを示している。
これらのスキルは一般的で、移行可能か、あるいは事前トレーニング中に見られる特定のタスクに特化していますか?
本稿では,標準タスクの既定前提から逸脱する「数値的」タスク変種に基づく評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-05T17:50:42Z) - Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。
本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。
ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
論文 参考訳(メタデータ) (2023-05-22T06:45:02Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳(メタデータ) (2023-02-15T18:25:52Z) - COMPS: Conceptual Minimal Pair Sentences for testing Property Knowledge
and Inheritance in Pre-trained Language Models [8.08493736237816]
そこで本論文では,PLM(pre-trained language model)とPLM(pre-trained language model)を共同でテストする,最小対文の集合であるComposについて述べる。
COMPS 上の 22 個の異なる PLM の解析は、それらが自明に異なるとき、その性質に基づいて容易に概念を区別できることを明らかにする。
PLMはプロパティ継承と大きく整合した動作を示すことができるが、注意をそらす情報の存在下では失敗する。
論文 参考訳(メタデータ) (2022-10-05T00:04:18Z) - An Interpretability Evaluation Benchmark for Pre-trained Language Models [37.16893581395874]
英語と中国語の両方の注釈付きデータを提供する新しい評価ベンチマークを提案する。
複数の次元(文法、意味論、知識、推論、計算など)でLMの能力をテストする。
各元のインスタンスに対する摂動インスタンスを含み、摂動の下での有理整合を忠実性の計量として使う。
論文 参考訳(メタデータ) (2022-07-28T08:28:09Z) - Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text
Correspondence [45.9949173746044]
大規模事前学習言語モデル (PLM) が論理否定特性 (LNP) を満たさないことを示す。
そこで本研究では,意味テキスト対応を直接学習するための新しい中間訓練課題である「意味マッチング」を提案する。
このタスクにより、PLMは語彙意味情報を学習することができる。
論文 参考訳(メタデータ) (2022-05-08T08:37:36Z) - oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。
基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
論文 参考訳(メタデータ) (2019-12-31T12:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。