論文の概要: Relative Importance in Sentence Processing

• arxiv url: http://arxiv.org/abs/2106.03471v1
• Date: Mon, 7 Jun 2021 09:56:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 18:44:14.488908
• Title: Relative Importance in Sentence Processing
• Title（参考訳）: 文処理における相対的重要性
• Authors: Nora Hollenstein and Lisa Beinborn
• Abstract要約: 本研究では,人間とモデルによる英語処理における相対的重要性のパターンを比較した。 その結果,英語における人間の処理パターンは,言語モデルにおけるサリエンシに基づく重要性と強く相関していることがわかった。 以上の結果から,サリエンシは,ニューラルネットワークモデルを解釈する上で,認知的により妥当な指標である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 5.459688703437112
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Determining the relative importance of the elements in a sentence is a key factor for effortless natural language understanding. For human language processing, we can approximate patterns of relative importance by measuring reading fixations using eye-tracking technology. In neural language models, gradient-based saliency methods indicate the relative importance of a token for the target objective. In this work, we compare patterns of relative importance in English language processing by humans and models and analyze the underlying linguistic patterns. We find that human processing patterns in English correlate strongly with saliency-based importance in language models and not with attention-based importance. Our results indicate that saliency could be a cognitively more plausible metric for interpreting neural language models. The code is available on GitHub: https://github.com/beinborn/relative_importance
• Abstract（参考訳）: 文中の要素の相対的重要性を決定することは、無力な自然言語理解の重要な要因である。 人間の言語処理では,視線追跡技術を用いて読取量を測定することで,相対的重要性のパターンを近似することができる。 ニューラルネットワークモデルでは、勾配に基づく唾液度法は目標目標に対するトークンの相対的重要性を示す。 本研究では,人間とモデルによる英語処理における相対的重要性のパターンを比較し,基礎となる言語パターンを分析する。 英語における人間の処理パターンは,注目に基づく重要度ではなく,サリエンシに基づく言語モデルの重要性と強く相関していることがわかった。 以上の結果から, 塩分濃度は, 神経言語モデルの解釈において, 認知的に有意義な指標である可能性が示唆された。 コードはgithubで入手できる: https://github.com/beinborn/relative_importance

関連論文リスト

• ImpScore: A Learnable Metric For Quantifying The Implicitness Level of Language [40.4052848203136]
  インプシット言語は, 自然言語処理システムにおいて, 正確なテキスト理解を実現し, ユーザとの自然な対話を促進するために不可欠である。 本稿では,外部参照に頼ることなく,言語の暗黙度を定量化するスカラー計量を開発した。 ImpScoreは、12,580$(単純文、明示文)のペアからなる特別なキュレートされたデータセットに対して、ペアのコントラスト学習を使用してトレーニングされる。
  論文  参考訳（メタデータ） (2024-11-07T20:23:29Z)
• Attention-aware semantic relevance predicting Chinese sentence reading [6.294658916880712]
  本研究では,文脈意味的関連性を計算するための注意意識的アプローチを提案する。 意味的関連性の注意を意識したメトリクスは、中国語読解タスクの固定期間をより正確に予測することができる。 私たちのアプローチは、人間の言語理解と処理方法の理解を深めるために、これらのメトリクスの可能性を強調します。
  論文  参考訳（メタデータ） (2024-03-27T13:22:38Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Roles of Scaling and Instruction Tuning in Language Perception: Model vs. Human Attention [58.817405319722596]
  本研究は,複数の大規模言語モデル (LLM) を異なる大きさで自己意識的に比較し,言語知覚に対するスケーリングと指導指導の効果を評価する。 その結果,スケーリングは人間の類似性を向上し,簡単なパターン依存を減らし,効果的な注意力を高める一方で,命令チューニングは行わないことがわかった。 また、現在のLLMは、注目されているネイティブスピーカーよりも、常に非ネイティブに近づき、全てのモデルの準最適言語知覚が示唆されている。
  論文  参考訳（メタデータ） (2023-10-29T17:16:40Z)
• Assessing Word Importance Using Models Trained for Semantic Tasks [0.0]
  我々は、自然言語推論とパラフレーズ同定という、意味的課題を解決するために訓練されたモデルから単語の意義を導き出す。 我々は、いわゆるクロスタスク評価を用いて、それらの妥当性を評価する。 本手法は, 文章中の重要な単語を, 学習における単語のラベル付けを伴わずに識別することができる。
  論文  参考訳（メタデータ） (2023-05-31T09:34:26Z)
• A Linguistic Investigation of Machine Learning based Contradiction Detection Models: An Empirical Analysis and Future Perspectives [0.34998703934432673]
  本稿では,2つの自然言語推論データセットについて,その言語的特徴について分析する。 目標は、特に機械学習モデルを理解するのが難しい、構文的および意味的特性を特定することである。
  論文  参考訳（メタデータ） (2022-10-19T10:06:03Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
  創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。 このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。 また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-24T21:24:54Z)
• Understanding and Enhancing the Use of Context for Machine Translation [2.367786892039871]
  この論文は、ニューラルモデルにおけるコンテキストの特定の可能性を理解し、それらから恩恵を受ける拡張モデルを設計することに焦点を当てている。 ソース言語からターゲット言語に翻訳するには、神経モデルは与えられたコンテキストにおける構成語の意味を理解する必要があります。 NLP分野を進めるためには、コンテキストの役割と学習モデルに対するデータの影響をより深く検討することが不可欠です。
  論文  参考訳（メタデータ） (2021-02-20T20:19:27Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)
• Do Language Embeddings Capture Scales? [54.1633257459927]
  事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。 我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
  論文  参考訳（メタデータ） (2020-10-11T21:11:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。