論文の概要: AmbiCoref: Evaluating Human and Model Sensitivity to Ambiguous Coreference

• arxiv url: http://arxiv.org/abs/2302.00762v1
• Date: Wed, 1 Feb 2023 21:25:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-03 16:07:05.457190
• Title: AmbiCoref: Evaluating Human and Model Sensitivity to Ambiguous Coreference
• Title（参考訳）: AmbiCoref: 曖昧な干渉に対する人間とモデル感度の評価
• Authors: Yuewei Yuan, Chaitanya Malaviya, Mark Yatskar
• Abstract要約: 現代のコアパラメータ分解モデルがそのような不明瞭さに敏感かどうかを考察する。 曖昧で曖昧な参照を持つ最小文対の診断コーパスである AmbiCoref を構築した。
• 参考スコア（独自算出の注目度）: 15.175096024629363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a sentence "Abby told Brittney that she upset Courtney", one would struggle to understand who "she" refers to, and ask for clarification. However, if the word "upset" were replaced with "hugged", "she" unambiguously refers to Abby. We study if modern coreference resolution models are sensitive to such pronominal ambiguity. To this end, we construct AmbiCoref, a diagnostic corpus of minimal sentence pairs with ambiguous and unambiguous referents. Our examples generalize psycholinguistic studies of human perception of ambiguity around particular arrangements of verbs and their arguments. Analysis shows that (1) humans are less sure of referents in ambiguous AmbiCoref examples than unambiguous ones, and (2) most coreference models show little difference in output between ambiguous and unambiguous pairs. We release AmbiCoref as a diagnostic corpus for testing whether models treat ambiguity similarly to human.
• Abstract（参考訳）: アビーがコートニーを動揺させたとブリトニーに告げた」という文を与えられたとき、「彼女」が誰を指しているのかを理解するのに苦労し、明確化を求めた。 しかし、"upset"という言葉が"hugged"に置き換えられた場合、"she"は曖昧にAbbyを指す。 現代のコアパラメータ分解モデルがそのような曖昧さに敏感かどうかを検討する。 この目的のために,不明瞭かつ曖昧な参照を持つ最小文対の診断コーパスである AmbiCoref を構築した。 本例では,動詞の特定の配列とその引数に関する曖昧さに対する人間の知覚に関する心理言語学的研究を一般化する。 分析の結果,(1)あいまいなAmbiCorefの例では,ヒトはあいまいな例よりも参照率を低く,(2)ほとんどのコア参照モデルはあいまいなペアとあいまいなペアの出力にはほとんど差がないことがわかった。 我々はAmbiCorefを、モデルが人間のように曖昧性を扱うかどうかをテストするための診断コーパスとしてリリースする。

関連論文リスト

• What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations [62.91799637259657]
  大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか? 本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。 単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:53:13Z)
• The Causal Influence of Grammatical Gender on Distributional Semantics [87.8027818528463]
  言語間のジェンダー割り当てがどの程度意味を持つかは、言語学と認知科学における研究の活発な領域である。 我々は、名詞の文法的性別、意味、形容詞選択の間の相互作用を共同で表現する、新しい因果的グラフィカルモデルを提供する。 名詞の意味を制御した場合、文法的性別と形容詞的選択の関係は、ほぼゼロであり、無意味である。
  論文  参考訳（メタデータ） (2023-11-30T13:58:13Z)
• That was the last straw, we need more: Are Translation Systems Sensitive to Disambiguating Context? [64.38544995251642]
  我々は、源泉に存在している意味的あいまいさ(本研究における英語)について研究する。 我々は、リテラルと図形の両方にオープンなイディオムに焦点を当てている。 現在のMTモデルは、たとえ文脈が比喩的解釈を示しているとしても、英語のイディオムを文字通りに翻訳する。
  論文  参考訳（メタデータ） (2023-10-23T06:38:49Z)
• Rather a Nurse than a Physician -- Contrastive Explanations under Investigation [22.461311074002133]
  英語テキスト分類データセット(SST2, DynaSent, BIOS, DBpedia-Animals)の解析 我々は3つの異なるモデルから説明を微調整し抽出し、3つのポストホックな説明可能性法を適用した。 我々は、人間が必ずしも対照的な方法で説明しないことを経験的に見出した。
  論文  参考訳（メタデータ） (2023-10-18T11:54:38Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Is the Elephant Flying? Resolving Ambiguities in Text-to-Image Generative Models [64.58271886337826]
  テキストから画像への生成モデルで生じるあいまいさについて検討する。 本稿では,ユーザから明確化を求めることによって,システムに与えられるプロンプトのあいまいさを軽減する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-11-17T17:12:43Z)
• RAW-C: Relatedness of Ambiguous Words--in Context (A New Lexical Resource for English) [2.792030485253753]
  文脈的埋め込みが単語の意味の連続的、動的性質にどの程度適合しているかを評価する。 我々は、コサイン距離が、人間が同じ単語の感覚をいかに利用しているかを体系的に過小評価していることを示す。 本稿では,精神語彙の心理言語学理論と語彙意味論の計算モデルとの合成を提案する。
  論文  参考訳（メタデータ） (2021-05-27T16:07:13Z)
• Do Context-Aware Translation Models Pay the Right Attention? [61.25804242929533]
  コンテキスト対応機械翻訳モデルは文脈情報を活用するように設計されているが、しばしば失敗する。 本稿では,人間の翻訳者が曖昧な単語を解くために使用する文脈について述べる。 SCAT(Supporting Context for Ambiguous Translations)は、14K翻訳のコンテキストワードをサポートする新しい英仏データセットです。 SCATを用いて,支援語の位置的特徴と語彙的特徴をあいまいにするために使用される文脈を詳細に分析する。
  論文  参考訳（メタデータ） (2021-05-14T17:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。