論文の概要: Probing Physical Reasoning with Counter-Commonsense Context
- arxiv url: http://arxiv.org/abs/2306.02258v1
- Date: Sun, 4 Jun 2023 04:24:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 19:07:55.822819
- Title: Probing Physical Reasoning with Counter-Commonsense Context
- Title（参考訳）: カウンター・コモンセンスコンテキストによる物理推論の探索
- Authors: Kazushi Kondo, Saku Sugawara, Akiko Aizawa
- Abstract要約: 本研究では,物理コモンセンスが文脈化サイズ比較タスクに与える影響について検討する。
このデータセットは、さまざまなコンテキスト下でオブジェクト間のサイズ関係を予測する言語モデルの能力をテストする。
- 参考スコア（独自算出の注目度）: 34.8562766828087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this study, we create a CConS (Counter-commonsense Contextual Size
comparison) dataset to investigate how physical commonsense affects the
contextualized size comparison task; the proposed dataset consists of both
contexts that fit physical commonsense and those that do not. This dataset
tests the ability of language models to predict the size relationship between
objects under various contexts generated from our curated noun list and
templates. We measure the ability of several masked language models and
generative models. The results show that while large language models can use
prepositions such as ``in'' and ``into'' in the provided context to infer size
relationships, they fail to use verbs and thus make incorrect judgments led by
their prior physical commonsense.
- Abstract（参考訳）: 本研究では,ccons(counter-commonsense context size comparison)データセットを作成し,コンテクストサイズ比較タスクに物理的なコモンセンスがどのように影響するかを検討する。
このデータセットは、キュレートされた名詞リストとテンプレートから生成されたさまざまなコンテキスト下でオブジェクト間のサイズ関係を予測する言語モデルの性能をテストする。
いくつかのマスキング言語モデルと生成モデルの能力を測定する。
その結果, 大規模言語モデルでは, 「in'」や「into'」といった前置詞を用いて, 大きさ関係の推測を行うことができたが, 動詞の使用に失敗し, それまでの身体的常識による誤った判断を下すことができた。
関連論文リスト
- Towards a theory of how the structure of language is acquired by deep neural networks [6.363756171493383]
木のような生成モデルを用いて、自然言語で見られる階層構造の多くをキャプチャする。
トークンとトークンの相関は文法の隠れ変数の表現を構築するのに有効であることを示す。
トレーニングセットのサイズと効果的な相関範囲の関係は、我々の合成データセットを超えていると推測する。
論文 参考訳（メタデータ） (2024-05-28T17:01:22Z) - Context versus Prior Knowledge in Language Models [49.17879668110546]
言語モデルは、事前学習中に学んだ事前知識と、文脈で提示された新しい情報を統合する必要があることが多い。
本稿では,モデルがコンテキストと先行するエンティティへの依存性を測定するための2つの相互情報ベースメトリクスを提案する。
論文 参考訳（メタデータ） (2024-04-06T13:46:53Z) - Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。
大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
論文 参考訳（メタデータ） (2023-10-23T03:48:24Z) - Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics
Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。
これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-29T16:24:01Z) - Assessing Linguistic Generalisation in Language Models: A Dataset for
Brazilian Portuguese [4.941630596191806]
ブラジルポルトガル語で開発されたモデルで符号化された言語情報を検査する本質的な評価課題を提案する。
これらのタスクは、異なる言語モデルが文法構造やマルチワード表現に関連する情報を一般化する方法を評価するために設計されている。
論文 参考訳（メタデータ） (2023-05-23T13:49:14Z) - Context vs Target Word: Quantifying Biases in Lexical Semantic Datasets [18.754562380068815]
BERTのような最先端のコンテキスト化モデルは、WiCやWSDのようなタスクを使用して、ワード・イン・コンテクストの表現を評価する。
本研究は,主要な文脈的語彙意味タスクにおいて,文脈-単語間相互作用を検証した最初の定量的分析(探索ベースラインを用いた)を提案する。
論文 参考訳（メタデータ） (2021-12-13T15:37:05Z) - Did the Cat Drink the Coffee? Challenging Transformers with Generalized
Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。
以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。
しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文 参考訳（メタデータ） (2021-07-22T20:52:26Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳（メタデータ） (2020-09-24T07:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。