論文の概要: A Frustratingly Easy Plug-and-Play Detection-and-Reasoning Module for Chinese Spelling Check

• arxiv url: http://arxiv.org/abs/2310.09119v1
• Date: Fri, 13 Oct 2023 14:03:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 12:48:14.490054
• Title: A Frustratingly Easy Plug-and-Play Detection-and-Reasoning Module for Chinese Spelling Check
• Title（参考訳）: 中国語スペルチェックのための簡易なプラグアンドプレイ検出モジュール
• Authors: Haojing Huang, Jingheng Ye, Qingyu Zhou, Yinghui Li, Yangning Li, Feng Zhou, Hai-Tao Zheng
• Abstract要約: 我々は,中国語のスペルチェック(CSC)ワークフローを検出,推論,サブタスクの検索に分解することを提案する。 具体的には、既存のSOTA非自己回帰CSCモデルと互換性のあるプラグアンドプレイ検出・推論モジュールを設計する。 1つのモデルでトレーニングされた検出・推論モジュールは、他のモデルにもメリットがあることがわかった。
• 参考スコア（独自算出の注目度）: 28.99532878196465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, Chinese Spelling Check (CSC) has been greatly improved by designing task-specific pre-training methods or introducing auxiliary tasks, which mostly solve this task in an end-to-end fashion. In this paper, we propose to decompose the CSC workflow into detection, reasoning, and searching subtasks so that the rich external knowledge about the Chinese language can be leveraged more directly and efficiently. Specifically, we design a plug-and-play detection-and-reasoning module that is compatible with existing SOTA non-autoregressive CSC models to further boost their performance. We find that the detection-and-reasoning module trained for one model can also benefit other models. We also study the primary interpretability provided by the task decomposition. Extensive experiments and detailed analyses demonstrate the effectiveness and competitiveness of the proposed module.
• Abstract（参考訳）: 近年、中国の綴りチェック(csc)は、タスク固有の事前学習方法の設計や補助的なタスクの導入によって大幅に改善されている。 本稿では,中国語に関する豊富な外部知識をより直接的かつ効率的に活用できるように,サブタスクの検出,推論,検索にcscワークフローを分解することを提案する。 具体的には,既存のSOTA非自己回帰CSCモデルと互換性のあるプラグアンドプレイ検出・推論モジュールを設計し,性能をさらに向上させる。 1つのモデルでトレーニングされた検出・推論モジュールは、他のモデルにもメリットがある。 また,タスク分解による主解釈可能性についても検討した。 提案モジュールの有効性と競争性を示す実験と詳細な分析を行った。

関連論文リスト

• Improving In-Context Learning with Small Language Model Ensembles [2.3499129784547654]
  In-context Learning (ICL) は安価で効率的な代替手段であるが、高度な手法の精度と一致しない。 本稿では,複数の微調整小言語モデル(SLM)の専門知識を活用することでICLを強化する新しいアプローチであるEnsemble SuperICLを提案する。
  論文  参考訳（メタデータ） (2024-10-29T09:02:37Z)
• SimCT: A Simple Consistency Test Protocol in LLMs Development Lifecycle [10.355773781860075]
  我々は,SimCTという,シンプルで効果的な一貫性テストプロトコルを提案する。 SimCT は主に、"ベアメタル" LLM または関連サービスの様々な開発段階における一貫性を積極的にチェックすることを目的としている。 本プロトコルは,2つのコンポーネントに対してそれぞれLightGBMと学生のt-testを実装し,SimCTの有効性を実証するための広範囲な実験を行う。
  論文  参考訳（メタデータ） (2024-07-24T10:49:19Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
  大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。 既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。 本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
  論文  参考訳（メタデータ） (2024-01-16T11:45:03Z)
• Improving Input-label Mapping with Demonstration Replay for In-context Learning [67.57288926736923]
  In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。 Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。 ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-10-30T14:29:41Z)
• Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
  Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。 このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T01:46:07Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)
• Continual Learning via Local Module Composition [11.380264053565082]
  ローカルモジュール合成 (LMC) は、モジュール型連続学習のアプローチである。 LMCは各モジュールに、モジュールの入力に対する関連性を推定するローカルな構造コンポーネントを提供する。
  論文  参考訳（メタデータ） (2021-11-15T13:34:15Z)
• Soft Expert Reward Learning for Vision-and-Language Navigation [94.86954695912125]
  VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従うことで、目に見えない環境で特定の場所を見つける必要がある。 本稿では,VLNタスクの工学的設計と一般化問題を克服するために,ソフトエキスパート・リワード・ラーニング(SERL)モデルを導入する。
  論文  参考訳（メタデータ） (2020-07-21T14:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。