論文の概要: Larger-Context Tagging: When and Why Does It Work?

• arxiv url: http://arxiv.org/abs/2104.04434v1
• Date: Fri, 9 Apr 2021 15:35:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 14:07:39.831128
• Title: Larger-Context Tagging: When and Why Does It Work?
• Title（参考訳）: 大きなコンテキストタグ: いつ、なぜ機能するのか?
• Authors: Jinlan Fu, Liangjing Feng, Qi Zhang, Xuanjing Huang and Pengfei Liu
• Abstract要約: 一般的な戦略として、より大規模なコンテキストトレーニングがいつ、なぜ機能するのかを調査することに注力する。 4つのタグ付けタスクと13のデータセットに基づいてテストベッドを設定しました。
• 参考スコア（独自算出の注目度）: 55.407651696813396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The development of neural networks and pretraining techniques has spawned many sentence-level tagging systems that achieved superior performance on typical benchmarks. However, a relatively less discussed topic is what if more context information is introduced into current top-scoring tagging systems. Although several existing works have attempted to shift tagging systems from sentence-level to document-level, there is still no consensus conclusion about when and why it works, which limits the applicability of the larger-context approach in tagging tasks. In this paper, instead of pursuing a state-of-the-art tagging system by architectural exploration, we focus on investigating when and why the larger-context training, as a general strategy, can work. To this end, we conduct a thorough comparative study on four proposed aggregators for context information collecting and present an attribute-aided evaluation method to interpret the improvement brought by larger-context training. Experimentally, we set up a testbed based on four tagging tasks and thirteen datasets. Hopefully, our preliminary observations can deepen the understanding of larger-context training and enlighten more follow-up works on the use of contextual information.
• Abstract（参考訳）: ニューラルネットワークと事前学習技術の開発は、典型的なベンチマークで優れたパフォーマンスを達成する多くの文レベルのタグ付けシステムを生み出した。 しかし、議論の少ないトピックは、現在のトップスコアタグシステムにより多くのコンテキスト情報が導入された場合である。 既存のいくつかの研究は、タグシステムの文レベルから文書レベルへのシフトを試みているが、いつ、なぜそれが機能するのかについての結論は得られていない。 本稿では,アーキテクチャ探査による最先端のタグ付けシステムを追求する代わりに,汎用的な戦略として,大規模コンテキストトレーニングがいつ,なぜ機能するのかを検討することに焦点を当てる。 そこで本稿では,コンテキスト情報収集のための4つのアグリゲータについて,より大規模なコンテキスト学習による改善を解釈するための属性支援評価手法を提案する。 実験では,4つのタグ付けタスクと13のデータセットに基づいてテストベッドを設置した。 願わくば、我々の予備観測は、より大きなコンテキストトレーニングの理解を深め、文脈情報の使用に関するより深いフォローアップ作業を実現することができる。

関連論文リスト

• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• A Controlled Study on Long Context Extension and Generalization in LLMs [85.4758128256142]
  広義のテキスト理解とテキスト内学習は、完全な文書コンテキストを利用する言語モデルを必要とする。 長期コンテキストモデルを直接訓練する際の実装上の課題のため、長期コンテキストを扱うためにモデルを拡張する多くの方法が提案されている。 我々は,一貫したベースモデルと拡張データを利用して,標準化された評価による拡張メソッドの制御プロトコルを実装した。
  論文  参考訳（メタデータ） (2024-09-18T17:53:17Z)
• Where does In-context Translation Happen in Large Language Models [18.379840329713407]
  大規模言語モデルがテキスト学習者から翻訳モデルへ移行する地域を特徴付ける。 我々は、翻訳タスクが入力表現に符号化され、文脈への注意がもはや不要な「タスク認識」ポイントの証拠を実証する。
  論文  参考訳（メタデータ） (2024-03-07T14:12:41Z)
• How Can Context Help? Exploring Joint Retrieval of Passage and Personalized Context [39.334509280777425]
  コンテキスト認識型文書地下会話システムの概念に触発され,コンテキスト認識型文節検索の課題が紹介される。 本稿では,パーソナライズド・コンテクスト・アウェア・サーチ(PCAS)を提案する。
  論文  参考訳（メタデータ） (2023-08-26T04:49:46Z)
• In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models [5.5089506884366735]
  本稿では, In-Context Probing (ICP) という代替手法を提案する。 インコンテキスト学習と同様に、入力の表現を命令で文脈化するが、出力予測を復号する代わりに、ラベルを予測するために文脈化表現を探索する。 我々はICPがファインタニングよりも優れていることを示し、より小さなモデルの上に分類器を構築するのに特に有用であることを示した。
  論文  参考訳（メタデータ） (2023-05-23T15:43:04Z)
• PRODIGY: Enabling In-context Learning Over Graphs [112.19056551153454]
  コンテキスト内学習(In-context learning)とは、事前訓練されたモデルが、新しい多様な下流タスクに適応する能力である。 ProDIGYは,グラフ上でのコンテキスト内学習を可能にする最初の事前学習フレームワークである。
  論文  参考訳（メタデータ） (2023-05-21T23:16:30Z)
• Phrase Retrieval Learns Passage Retrieval, Too [77.57208968326422]
  文節検索が,文節や文書を含む粗いレベルの検索の基盤となるかを検討する。 句検索システムでは,句検索の精度が向上し,句検索の精度が向上していることを示す。 また,句のフィルタリングやベクトル量子化により,インデックスのサイズを4～10倍に削減できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T17:42:45Z)
• Measuring and Increasing Context Usage in Context-Aware Machine Translation [64.5726087590283]
  機械翻訳モデルによるコンテキストの使用を定量的にするために、新しいメトリクス、条件付き相互情報を導入します。 次に,コンテキスト認識モデルによってコンテキストの使用量を増やすために,コンテキスト認識ワードドロップアウトという,新しい簡易なトレーニング手法を導入する。
  論文  参考訳（メタデータ） (2021-05-07T19:55:35Z)
• Quantifying the Contextualization of Word Representations with Semantic Class Probing [8.401007663676214]
  事前訓練された言語モデルは、多くのNLPタスクにおいて、新しい最先端技術を実現している。 単語のセマンティッククラスが文脈化された埋め込みから推測できる範囲を研究することにより、文脈化の量、すなわち、単語が文脈内でどのように解釈されるかの定量化を行う。
  論文  参考訳（メタデータ） (2020-04-25T17:49:37Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。