論文の概要: A Frustratingly Easy Plug-and-Play Detection-and-Reasoning Module for
Chinese Spelling Check
- arxiv url: http://arxiv.org/abs/2310.09119v1
- Date: Fri, 13 Oct 2023 14:03:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 12:48:14.490054
- Title: A Frustratingly Easy Plug-and-Play Detection-and-Reasoning Module for
Chinese Spelling Check
- Title(参考訳): 中国語スペルチェックのための簡易なプラグアンドプレイ検出モジュール
- Authors: Haojing Huang, Jingheng Ye, Qingyu Zhou, Yinghui Li, Yangning Li, Feng
Zhou, Hai-Tao Zheng
- Abstract要約: 我々は,中国語のスペルチェック(CSC)ワークフローを検出,推論,サブタスクの検索に分解することを提案する。
具体的には、既存のSOTA非自己回帰CSCモデルと互換性のあるプラグアンドプレイ検出・推論モジュールを設計する。
1つのモデルでトレーニングされた検出・推論モジュールは、他のモデルにもメリットがあることがわかった。
- 参考スコア(独自算出の注目度): 28.99532878196465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, Chinese Spelling Check (CSC) has been greatly improved by
designing task-specific pre-training methods or introducing auxiliary tasks,
which mostly solve this task in an end-to-end fashion. In this paper, we
propose to decompose the CSC workflow into detection, reasoning, and searching
subtasks so that the rich external knowledge about the Chinese language can be
leveraged more directly and efficiently. Specifically, we design a
plug-and-play detection-and-reasoning module that is compatible with existing
SOTA non-autoregressive CSC models to further boost their performance. We find
that the detection-and-reasoning module trained for one model can also benefit
other models. We also study the primary interpretability provided by the task
decomposition. Extensive experiments and detailed analyses demonstrate the
effectiveness and competitiveness of the proposed module.
- Abstract(参考訳): 近年、中国の綴りチェック(csc)は、タスク固有の事前学習方法の設計や補助的なタスクの導入によって大幅に改善されている。
本稿では,中国語に関する豊富な外部知識をより直接的かつ効率的に活用できるように,サブタスクの検出,推論,検索にcscワークフローを分解することを提案する。
具体的には,既存のSOTA非自己回帰CSCモデルと互換性のあるプラグアンドプレイ検出・推論モジュールを設計し,性能をさらに向上させる。
1つのモデルでトレーニングされた検出・推論モジュールは、他のモデルにもメリットがある。
また,タスク分解による主解釈可能性についても検討した。
提案モジュールの有効性と競争性を示す実験と詳細な分析を行った。
関連論文リスト
- DEEP-ICL: Definition-Enriched Experts for Language Model In-Context
Learning [61.85871109164743]
大規模言語モデル(LLM)におけるパラメータの多さは、コンテキスト内学習(ICL)の能力を促進すると長い間考えられてきた。
ICL のための新しいタスク定義拡張 ExPert Ensembling Method である DEEP-ICL を紹介する。
ICLの改善はモデルのサイズに直接依存するのではなく、基本的にはタスク定義やタスク誘導学習の理解に起因している、と我々は主張する。
論文 参考訳(メタデータ) (2024-03-07T05:26:41Z) - In-context Learning with Retrieved Demonstrations for Language Models: A Survey [23.24271704145876]
インコンテクスト学習者(ICL)は入力コンテキストでのデモを少しだけ行うだけで、新しいタスクに適応できる。
最近の開発では、固定された一連のデモを使う代わりに、各入力クエリに合わせたデモを検索する。
本稿では,検索モデル,検索訓練手順,推論アルゴリズムの異なる設計選択について論じ,比較する。
論文 参考訳(メタデータ) (2024-01-21T23:34:42Z) - SAPT: A Shared Attention Framework for Parameter-Efficient Continual
Learning of Large Language Models [74.48765681246947]
大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。
既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。
本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
論文 参考訳(メタデータ) (2024-01-16T11:45:03Z) - Improving Input-label Mapping with Demonstration Replay for In-context
Learning [67.57288926736923]
In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。
Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。
ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
論文 参考訳(メタデータ) (2023-10-30T14:29:41Z) - Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。
このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
論文 参考訳(メタデータ) (2023-05-24T01:46:07Z) - Continual Learning via Local Module Composition [11.380264053565082]
ローカルモジュール合成 (LMC) は、モジュール型連続学習のアプローチである。
LMCは各モジュールに、モジュールの入力に対する関連性を推定するローカルな構造コンポーネントを提供する。
論文 参考訳(メタデータ) (2021-11-15T13:34:15Z) - Exploration and Exploitation: Two Ways to Improve Chinese Spelling
Correction Models [51.744357472072416]
本稿では,モデルの弱点を継続的に識別し,より価値の高いトレーニングインスタンスを生成する手法を提案する。
実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの一般化とロバスト性を改善することができることがわかった。
論文 参考訳(メタデータ) (2021-05-31T09:17:33Z) - Efficient Continual Learning with Modular Networks and Task-Driven
Priors [31.03712334701338]
継続学習(CL)における既存の文献は、破滅的な忘れを克服することに焦点を当てている。
新しいモジュールアーキテクチャを導入し、モジュールは特定のタスクを実行するために構成できる原子スキルを表す。
学習アルゴリズムは,モジュールを結合するあらゆる方法の指数関数探索空間上でタスク駆動前処理を活用し,タスクの長いストリームでの効率的な学習を可能にする。
論文 参考訳(メタデータ) (2020-12-23T12:42:16Z) - Soft Expert Reward Learning for Vision-and-Language Navigation [94.86954695912125]
VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従うことで、目に見えない環境で特定の場所を見つける必要がある。
本稿では,VLNタスクの工学的設計と一般化問題を克服するために,ソフトエキスパート・リワード・ラーニング(SERL)モデルを導入する。
論文 参考訳(メタデータ) (2020-07-21T14:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。