論文の概要: An Attention-Based Model for Predicting Contextual Informativeness and Curriculum Learning Applications

• arxiv url: http://arxiv.org/abs/2204.09885v1
• Date: Thu, 21 Apr 2022 05:17:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-22 22:59:15.004867
• Title: An Attention-Based Model for Predicting Contextual Informativeness and Curriculum Learning Applications
• Title（参考訳）: 意図に基づく文脈インフォーマル性予測モデルとカリキュラム学習への応用
• Authors: Sungjin Nam, David Jurgens, Kevyn Collins-Thompson
• Abstract要約: 目的語に対する文脈情報度を効果的に把握する手法を提案する。 まず,文の指導的側面に着目し,文脈的情報度を推定するモデルを開発する。 第二に、我々のモデルは、対象語に対する読者の理解に最も寄与するであろう文中の重要な文脈要素をいかに識別するかを示す。
• 参考スコア（独自算出の注目度）: 9.513406231612734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Both humans and machines learn the meaning of unknown words through contextual information in a sentence, but not all contexts are equally helpful for learning. We introduce an effective method for capturing the level of contextual informativeness with respect to a given target word. Our study makes three main contributions. First, we develop models for estimating contextual informativeness, focusing on the instructional aspect of sentences. Our attention-based approach using pre-trained embeddings demonstrates state-of-the-art performance on our single-context dataset and an existing multi-sentence context dataset. Second, we show how our model identifies key contextual elements in a sentence that are likely to contribute most to a reader's understanding of the target word. Third, we examine how our contextual informativeness model, originally developed for vocabulary learning applications for students, can be used for developing better training curricula for word embedding models in batch learning and few-shot machine learning settings. We believe our results open new possibilities for applications that support language learning for both human and machine learners
• Abstract（参考訳）: 人間と機械は文中の文脈情報を通じて未知の単語の意味を学習するが、全ての文脈が学習に等しく役立つわけではない。 目的語に対する文脈情報化のレベルをキャプチャする効果的な手法を提案する。 私たちの研究は3つの主な貢献をしている。 まず,文の指導的側面に着目し,文脈情報度を推定するモデルを開発した。 事前学習した埋め込みを用いた注意ベースのアプローチは、単一コンテキストデータセットと既存のマルチセンスコンテキストデータセットに対して最先端のパフォーマンスを示す。 第二に、我々のモデルは、対象語に対する読者の理解に最も寄与するであろう文中の重要な文脈要素を特定する方法を示す。 第3に,学習者のための語彙学習アプリケーション用に開発された文脈情報モデルが,バッチ学習やマイナショット機械学習の設定において,単語埋め込みモデルの訓練用キュリキュラの開発にどのように役立つかを検討する。 我々は、人間と機械の学習者の両方に言語学習をサポートするアプリケーションに新たな可能性を開くと信じている。

関連論文リスト

• Autoregressive Pre-Training on Pixels and Texts [35.82610192457444]
  文書画像とテキストの両方で事前学習された自己回帰フレームワークを用いて、視覚的・テキスト的両言語の二重モードについて検討する。 本手法はマルチモーダル・トレーニング・ストラテジーを用いて,次のパッチ予測による視覚データと,次のトークン予測による回帰ヘッドおよび/またはテキストデータを利用する。 視覚データのみを訓練した一方向画素モデルでは,複数の言語理解タスクにおける最先端の双方向モデルに匹敵する結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-04-16T16:36:50Z)
• Large Language Model Augmented Exercise Retrieval for Personalized Language Learning [2.946562343070891]
  ベクトル類似性アプローチは,学習者が学習したいことを表現するために使用するエクササイズコンテンツと言語との関係を,不十分に捉えていることがわかった。 我々は,学習者の入力に基づいて仮説的演習を合成することにより,大きな言語モデルの生成能力を活用してギャップを埋める。 我々はmHyERと呼ぶアプローチを,(1)学習における関連ラベルの欠如,(2)制限なし学習者の入力内容,(3)入力候補と検索候補とのセマンティックな類似性の低さという3つの課題を克服する。
  論文  参考訳（メタデータ） (2024-02-08T20:35:31Z)
• Less is More: A Closer Look at Semantic-based Few-Shot Learning [11.724194320966959]
  Few-shot Learningは、利用可能な画像の数が非常に限られている新しいカテゴリを学習し、区別することを目的としている。 本稿では,テキスト情報と言語モデルを活用することを目的とした,数ショットの学習タスクのための,シンプルだが効果的なフレームワークを提案する。 広範に使われている4つのショットデータセットで実施した実験は、我々の単純なフレームワークが印象的な結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-10T08:56:02Z)
• Storyfier: Exploring Vocabulary Learning Support with Text Generation Models [52.58844741797822]
  本研究では,学習者の興味をひく対象語に対するコヒーレントな文脈を提供するために,Storyfierを開発した。 学習者は一般的に、生成したストーリーを目標語を接続し、学習負荷を緩和するための支援を書くのに好む。 読み書き学習セッションでは、AI機能のないベースラインツールで学習するよりも、Storyfierを使用する参加者は、リコールやターゲット語の使用でパフォーマンスが悪くなります。
  論文  参考訳（メタデータ） (2023-08-07T18:25:00Z)
• Human Inspired Progressive Alignment and Comparative Learning for Grounded Word Acquisition [6.47452771256903]
  我々は、人間の赤ちゃんが最初の言語をどのように習得するかからインスピレーションを得て、比較学習を通じて単語獲得のための計算プロセスを開発した。 認知的発見を動機として,様々な属性の類似点と相違点を計算モデルで比較できる小さなデータセットを作成した。 我々は、単語の獲得を情報フィルタリングのプロセスだけでなく、表現-シンボルマッピングにもとづいている。
  論文  参考訳（メタデータ） (2023-07-05T19:38:04Z)
• Towards Open Vocabulary Learning: A Survey [146.90188069113213]
  ディープニューラルネットワークは,セグメンテーションやトラッキング,検出といった,さまざまなコアタスクにおいて,目覚ましい進歩を遂げている。 近年、視覚言語事前学習の急速な進歩により、オープンな語彙設定が提案されている。 本稿では,その分野における最近の発展を要約し分析し,オープンな語彙学習の徹底的なレビューを行う。
  論文  参考訳（メタデータ） (2023-06-28T02:33:06Z)
• VidLanKD: Improving Language Understanding via Video-Distilled Knowledge Transfer [76.3906723777229]
  言語理解を改善するためのビデオ言語知識蒸留法VidLanKDを提案する。 我々は、ビデオテキストデータセット上でマルチモーダル教師モデルを訓練し、その知識をテキストデータセットを用いて学生言語モデルに伝達する。 我々の実験では、VidLanKDはテキストのみの言語モデルや発声モデルよりも一貫した改善を実現している。
  論文  参考訳（メタデータ） (2021-07-06T15:41:32Z)
• Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language [148.0843278195794]
  ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。 本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
  論文  参考訳（メタデータ） (2020-11-18T20:21:19Z)
• Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
  我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。 構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。 我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
  論文  参考訳（メタデータ） (2020-09-12T17:20:01Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。