論文の概要: Measure More, Question More: Experimental Studies on Transformer-based
Language Models and Complement Coercion
- arxiv url: http://arxiv.org/abs/2212.10536v1
- Date: Tue, 20 Dec 2022 18:46:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 16:06:35.919285
- Title: Measure More, Question More: Experimental Studies on Transformer-based
Language Models and Complement Coercion
- Title（参考訳）: もっと測定し、質問する:トランスフォーマーに基づく言語モデルの実験的研究と補間
- Authors: Yuling Gu
- Abstract要約: トランスフォーマーベースの言語モデルは、自然言語理解タスクの配列に強いパフォーマンスを示している。
補体強制現象を用いて,これらのモデルが暗黙の意味にどのように反応するかを検討する。
- 参考スコア（独自算出の注目度）: 2.1320960069210484
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based language models have shown strong performance on an array
of natural language understanding tasks. However, the question of how these
models react to implicit meaning has been largely unexplored. We investigate
this using the complement coercion phenomenon, which involves sentences like
"The student finished the book about sailing" where the action "reading" is
implicit. We compare LMs' surprisal estimates at various critical sentence
regions in sentences with and without implicit meaning. Effects associated with
recovering implicit meaning were found at a critical region other than where
sentences minimally differ. We then use follow-up experiments to factor out
potential confounds, revealing different perspectives that offer a richer and
more accurate picture.
- Abstract（参考訳）: トランスフォーマーベースの言語モデルは、自然言語理解タスクの配列に強いパフォーマンスを示している。
しかし、これらのモデルが暗黙の意味にどう反応するかという問題は、ほとんど解明されていない。
この現象を補足的強制現象(補足的強制現象)を用いて検討し、「学生は航海に関する本を完成させた」などの文を暗黙的に読み取る。
文中の様々な臨界文領域におけるLMの前提推定値と暗黙的意味とを比較した。
暗黙的意味の回復に関連する影響は、文が最小に異なる部分以外の重要な領域で発見された。
そして、後続の実験を使って、より豊かで正確なイメージを提供する異なる視点を明らかにする。
関連論文リスト
- Truth-value judgment in language models: belief directions are context sensitive [2.324913904215885]
大きな言語モデルの潜在空間は、文の真理を予測する方向を含む。
複数の手法がそのような方向を復元し、モデルの"知識"や"信条"に到達したと説明されるプローブを構築する。
本研究では、この現象を調査し、文脈がプローブに与える影響を詳しく検討する。
論文 参考訳（メタデータ） (2024-04-29T16:52:57Z) - UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。
予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。
私たちはUNcommonsenseという新しい英語コーパスをリリースします。
論文 参考訳（メタデータ） (2023-11-14T19:00:55Z) - Prompting Large Language Model for Machine Translation: A Case Study [87.88120385000666]
我々は機械翻訳戦略の推進に関する体系的研究を行っている。
本稿では,プロンプトテンプレートと実演例選択の要因について検討する。
本稿では,モノリンガルデータの利用と,クロスリンガル,クロスドメイン,文-文書間伝達学習の実現可能性について検討する。
論文 参考訳（メタデータ） (2023-01-17T18:32:06Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳（メタデータ） (2022-10-07T14:21:30Z) - Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。
提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。
本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
論文 参考訳（メタデータ） (2022-05-14T11:47:58Z) - Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
テキストデータ上でのサリエンシに基づく説明について検討する。
人はしばしば説明を誤って解釈する。
本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
論文 参考訳（メタデータ） (2022-01-27T15:20:32Z) - Did the Cat Drink the Coffee? Challenging Transformers with Generalized
Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。
以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。
しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文 参考訳（メタデータ） (2021-07-22T20:52:26Z) - Exploring the Representation of Word Meanings in Context: A Case Study
on Homonymy and Synonymy [0.0]
我々は,静的モデルと文脈モデルの両方が,語彙-意味関係を適切に表現できる能力を評価する。
実験はガリシア語、ポルトガル語、英語、スペイン語で行われている。
論文 参考訳（メタデータ） (2021-06-25T10:54:23Z) - On the Interplay Between Fine-tuning and Composition in Transformers [7.513100214864645]
本研究では,微調整が文脈的埋め込み能力に及ぼす影響について検討する。
具体的には、語彙重なりの大きい逆パラフレーズ分類タスクと感情分類タスクを微調整する。
微調整はこれらの表現における構成性の恩恵をほとんど得られないが、感情に関するトレーニングは特定のモデルに対して小さな局所的な利益をもたらす。
論文 参考訳（メタデータ） (2021-05-31T01:49:56Z) - Characterizing the Effect of Sentence Context on Word Meanings: Mapping
Brain to Behavior [0.0]
本論文は,被験者がこのような変化を認識しているかどうかに答えることを目的としている。
被験者は、単語が特定の文で使用されるとき、その単語が汎用的な意味からどのように変化するかを判断するよう求められた。
結果は、単語の意味が文の文脈によって体系的に変化するという仮説を支持する。
論文 参考訳（メタデータ） (2020-07-27T20:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。