論文の概要: Meaning Beyond Truth Conditions: Evaluating Discourse Level Understanding via Anaphora Accessibility

• arxiv url: http://arxiv.org/abs/2502.14119v1
• Date: Wed, 19 Feb 2025 21:45:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:28:20.707200
• Title: Meaning Beyond Truth Conditions: Evaluating Discourse Level Understanding via Anaphora Accessibility
• Title（参考訳）: 真理条件を超えた意味:アナフォラアクセシビリティによる談話レベルの理解の評価
• Authors: Xiaomeng Zhu, Zhenghao Zhou, Simon Charlow, Robert Frank,
• Abstract要約: 自然言語理解能力の階層構造を示す。 語彙レベルと文レベルでの理解の評価を超えて、談話レベルに移行することの重要性を論じる。
• 参考スコア（独自算出の注目度）: 1.7985432767595741
• License:
• Abstract: We present a hierarchy of natural language understanding abilities and argue for the importance of moving beyond assessments of understanding at the lexical and sentence levels to the discourse level. We propose the task of anaphora accessibility as a diagnostic for assessing discourse understanding, and to this end, present an evaluation dataset inspired by theoretical research in dynamic semantics. We evaluate human and LLM performance on our dataset and find that LLMs and humans align on some tasks and diverge on others. Such divergence can be explained by LLMs' reliance on specific lexical items during language comprehension, in contrast to human sensitivity to structural abstractions.
• Abstract（参考訳）: 本稿では,自然言語理解能力の階層化について論じるとともに,語彙レベルと文レベルから談話レベルへの理解の評価を超えることの重要性を論じる。 談話理解のための診断として,アナフォラアクセシビリティーの課題を提案し,その目的のために,動的セマンティクスにおける理論的研究から着想を得た評価データセットを提案する。 我々は、データセット上で人間とLLMのパフォーマンスを評価し、LLMと人間はいくつかのタスクに整合し、他のタスクに偏りがあることを見出した。 このようなばらつきは、LLMが言語理解中に特定の語彙項目に依存していることによって説明できる。

関連論文リスト

• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Categorical Syllogisms Revisited: A Review of the Logical Reasoning Abilities of LLMs for Analyzing Categorical Syllogism [62.571419297164645]
  本稿では,分類的シロジズムを解析するための大規模言語モデルの論理的推論能力に関する先行研究を体系的に概説する。 まず、純粋に論理的な観点から分類的シロジズムの可能なバリエーションについて検討する。 次に、既存のデータセットでテストされた基本的な設定(ムードとフィギュア)を調べます。
  論文  参考訳（メタデータ） (2024-06-26T21:17:20Z)
• Semantic Structure-Mapping in LLM and Human Analogical Reasoning [14.412456982731467]
  アナロジカル推論は人間の学習と認知の中核であると考えられている。 近年の研究では、抽象的なシンボル操作タスクにおいて、人体の類似推論能力とLLM(Large Language Models)を比較している。 言語を非言語的領域にリンクする類似性を引き出す能力は、言語習得とより広範な認知発達において重要な役割を担っていると考えられている。
  論文  参考訳（メタデータ） (2024-06-19T20:07:37Z)
• A Survey on Lexical Ambiguity Detection and Word Sense Disambiguation [0.0]
  本稿では自然言語処理(NLP)分野における言語におけるあいまいさの理解と解決に焦点を当てた手法について検討する。 ディープラーニング技術から、WordNetのような語彙的リソースや知識グラフの活用まで、さまざまなアプローチを概説している。 本研究は, 感覚アノテートコーパスの不足, 非公式な臨床テキストの複雑さなど, この分野における永続的な課題を明らかにした。
  論文  参考訳（メタデータ） (2024-03-24T12:58:48Z)
• Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
  自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。 特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
  論文  参考訳（メタデータ） (2024-02-20T14:43:39Z)
• Can Large Language Models Understand Context? [17.196362853457412]
  本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。 実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。 LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
  論文  参考訳（メタデータ） (2024-02-01T18:55:29Z)
• Think from Words(TFW): Initiating Human-Like Cognition in Large Language Models Through Think from Words for Japanese Text-level Classification [0.0]
  TFW(Sink from Words)は、単語レベルで理解プロセスを開始し、テキスト全体を包含するように拡張する。 単語レベル情報付きTFW(TFW Extra)は、単語レベルデータを追加して理解を深める。 LLMのテキスト理解における単語レベルの情報型の影響について検討した。
  論文  参考訳（メタデータ） (2023-12-06T12:34:46Z)
• MAGNIFICo: Evaluating the In-Context Learning Ability of Large Language Models to Generalize to Novel Interpretations [37.13707912132472]
  人間は言語表現に新しい解釈を割り当てる素晴らしい能力を持っている。 大きな言語モデル(LLM)は知識の切り離しを持ち、何度も微調整を繰り返すのに費用がかかる。 我々は,LLMが文脈内学習を用いて新しい解釈を習得する能力を体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-18T00:02:38Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。