論文の概要: Computational Sentence-level Metrics Predicting Human Sentence Comprehension

• arxiv url: http://arxiv.org/abs/2403.15822v1
• Date: Sat, 23 Mar 2024 12:19:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 20:52:58.814295
• Title: Computational Sentence-level Metrics Predicting Human Sentence Comprehension
• Title（参考訳）: 人間の文理解を予測する計算文レベルメトリクス
• Authors: Kun Sun, Rong Wang,
• Abstract要約: 本研究では,多言語大言語モデルを用いた文レベルメトリクスの計算手法を提案する。 文素因性および文関連性を測定し,言語全体にわたって人間が文章をどう理解するかを予測できるかどうかを検証した。
• 参考スコア（独自算出の注目度）: 27.152245569974678
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The majority of research in computational psycholinguistics has concentrated on the processing of words. This study introduces innovative methods for computing sentence-level metrics using multilingual large language models. The metrics developed sentence surprisal and sentence relevance and then are tested and compared to validate whether they can predict how humans comprehend sentences as a whole across languages. These metrics offer significant interpretability and achieve high accuracy in predicting human sentence reading speeds. Our results indicate that these computational sentence-level metrics are exceptionally effective at predicting and elucidating the processing difficulties encountered by readers in comprehending sentences as a whole across a variety of languages. Their impressive performance and generalization capabilities provide a promising avenue for future research in integrating LLMs and cognitive science.
• Abstract（参考訳）: 計算心理言語学の研究の大部分は、単語の処理に集中している。 本研究では,多言語大言語モデルを用いた文レベルメトリクスの計算手法を提案する。 それらの指標は、文章の前提と文の関連性を発達させ、それを比較して、人間が言語全体にわたって文章をどのように理解しているかを予測できるかどうかを検証した。 これらの指標は,人文読解速度の予測において高い精度と高い解釈性を提供する。 以上の結果から,これらの計算文レベルの指標は,様々な言語での文章の理解において,読者が直面する処理困難を予測・解明するのに極めて有効であることが示唆された。 それらの優れた性能と一般化能力は、LLMと認知科学の統合における将来の研究に有望な道のりを提供する。

関連論文リスト

• On the Robustness of Language Guidance for Low-Level Vision Tasks: Findings from Depth Estimation [71.72465617754553]
  対象中心の3次元空間関係を伝達する低レベルな文を生成し,これらを追加言語として組み込んで,深度推定における下流の影響を評価する。 我々の重要な発見は、現在の言語誘導深度推定器がシーンレベルの記述のみを最適に実行することである。 追加データを活用するにもかかわらず、これらの手法は敵の直接攻撃や分散シフトの増加に伴う性能低下に対して堅牢ではない。
  論文  参考訳（メタデータ） (2024-04-12T15:35:20Z)
• Attention-aware semantic relevance predicting Chinese sentence reading [6.294658916880712]
  本研究では,文脈意味的関連性を計算するための注意意識的アプローチを提案する。 意味的関連性の注意を意識したメトリクスは、中国語読解タスクの固定期間をより正確に予測することができる。 私たちのアプローチは、人間の言語理解と処理方法の理解を深めるために、これらのメトリクスの可能性を強調します。
  論文  参考訳（メタデータ） (2024-03-27T13:22:38Z)
• Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets [92.38654521870444]
  ACESは146の言語ペアにまたがる対照的な課題セットです。 このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。 我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-01-29T17:17:42Z)
• Lexical Complexity Prediction: An Overview [13.224233182417636]
  テキスト中の未知の単語の発生は、読書の理解を著しく妨げている。 計算モデリングは、テキスト中の複雑な単語を識別し、より単純な代替語に置き換えるために応用されている。 本稿では,英文データに基づく語彙複雑性予測に対する計算手法の概要について述べる。
  論文  参考訳（メタデータ） (2023-03-08T19:35:08Z)
• More Than Words: Towards Better Quality Interpretations of Text Classifiers [16.66535643383862]
  MLモデルの入力インタフェースを考えると、トークンベースの解釈性は便利な第1選択であるが、あらゆる状況において最も効果的ではないことを示す。 1)ランダム化テストにより測定されるほど頑健であり,2)SHAPのような近似に基づく手法を用いた場合の変動性が低く,3)言語的コヒーレンスがより高い水準にある場合の人間には理解できない。
  論文  参考訳（メタデータ） (2021-12-23T10:18:50Z)
• Beyond the Tip of the Iceberg: Assessing Coherence of Text Classifiers [0.05857406612420462]
  大規模で事前訓練された言語モデルは、既存の言語理解タスクにおいて人間のレベルと超人的精度を達成する。 予測コヒーレンスの新しい尺度による評価システムを提案する。
  論文  参考訳（メタデータ） (2021-09-10T15:04:23Z)
• Improving Cross-Lingual Reading Comprehension with Self-Training [62.73937175625953]
  現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。 前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。 本稿では,ラベルのないデータを利用して性能を向上する。
  論文  参考訳（メタデータ） (2021-05-08T08:04:30Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
  イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。 これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。 本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
  論文  参考訳（メタデータ） (2020-10-26T13:57:20Z)
• How to Probe Sentence Embeddings in Low-Resource Languages: On Structural Design Choices for Probing Task Evaluation [82.96358326053115]
  構造設計選択に対する探索作業結果の感度について検討する。 我々は、英語で識別する「安定な領域」にある設計選択を多言語で構成した埋め込みを探索する。 私たちは英語の結果が他の言語に移行しないことに気付きます。
  論文  参考訳（メタデータ） (2020-06-16T12:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。