論文の概要: Feeding What You Need by Understanding What You Learned
- arxiv url: http://arxiv.org/abs/2203.02753v1
- Date: Sat, 5 Mar 2022 14:15:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-08 15:51:36.477747
- Title: Feeding What You Need by Understanding What You Learned
- Title(参考訳): 学んだことを理解することで必要なものを与える
- Authors: Xiaoqiang Wang, Bang Liu, Fangli Xu, Bo Long, Siliang Tang, Lingfei Wu
- Abstract要約: Machine Reading (MRC)は、与えられたテキストパスを理解し、それに基づいて質問に答える機能を明らかにする。
MRCの既存の研究は、Exact Matchのようなメトリクスによって評価されたパフォーマンスを改善するために、大規模なモデルとコーパスに大きく依存している。
モデル機能とデータ特性の深い理解は、適切なトレーニングデータでモデルをフィードするのに役立ちます。
- 参考スコア(独自算出の注目度): 54.400455868448695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Reading Comprehension (MRC) reveals the ability to understand a given
text passage and answer questions based on it. Existing research works in MRC
rely heavily on large-size models and corpus to improve the performance
evaluated by metrics such as Exact Match ($EM$) and $F_1$. However, such a
paradigm lacks sufficient interpretation to model capability and can not
efficiently train a model with a large corpus. In this paper, we argue that a
deep understanding of model capabilities and data properties can help us feed a
model with appropriate training data based on its learning status.
Specifically, we design an MRC capability assessment framework that assesses
model capabilities in an explainable and multi-dimensional manner. Based on it,
we further uncover and disentangle the connections between various data
properties and model performance. Finally, to verify the effectiveness of the
proposed MRC capability assessment framework, we incorporate it into a
curriculum learning pipeline and devise a Capability Boundary Breakthrough
Curriculum (CBBC) strategy, which performs a model capability-based training to
maximize the data value and improve training efficiency. Extensive experiments
demonstrate that our approach significantly improves performance, achieving up
to an 11.22% / 8.71% improvement of $EM$ / $F_1$ on MRC tasks.
- Abstract(参考訳): Machine Reading Comprehension (MRC)は、与えられたテキストパスを理解し、それに基づいて質問に答える能力を明らかにする。
mrcにおける既存の研究は、正確なマッチング(em$)や$f_1$などのメトリクスによって評価されるパフォーマンスを改善するために、大規模モデルとコーパスに大きく依存している。
しかし、そのようなパラダイムはモデル能力に対する十分な解釈を欠いており、大きなコーパスで効率的にモデルを訓練することはできない。
本稿では,モデル能力とデータ特性を深く理解することで,学習状況に基づいた適切なトレーニングデータでモデルに与えることができることを論じる。
具体的には,モデルを多次元かつ説明可能な方法で評価するMDC機能評価フレームワークを設計する。
それに基づいて、さまざまなデータプロパティとモデルパフォーマンスの間の接続をさらに解明し、分離します。
最後に,提案手法の有効性を検証するために,本手法をカリキュラム学習パイプラインに統合し,データ価値を最大化し,トレーニング効率を向上させるためのモデル能力に基づくトレーニングを行う能力境界ブレイクスルーカリキュラム(cbbc)戦略を考案する。
大規模な実験により,提案手法は性能を著しく向上し,EM$/$F_1$の最大11.22%/8.71%の改善が達成された。
関連論文リスト
- QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Learning Capacity: A Measure of the Effective Dimensionality of a Model [16.225020457496434]
モデルの有効次元の尺度である「学習能力」を定義する。
学習能力は、典型的なデータセットでトレーニングされた多くのディープネットワークのパラメータのごく一部であることを示す。
論文 参考訳(メタデータ) (2023-05-27T02:27:27Z) - Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。
具体的には、Webで収集したCoyo-700Mデータセットを利用する。
我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
論文 参考訳(メタデータ) (2023-05-24T15:33:46Z) - Concept-aware Training Improves In-context Learning Ability of Language
Models [0.0]
トランスフォーマーファミリーの最近の言語モデル(LM)の多くは、いわゆるインコンテキスト学習(ICL)能力を示している。
テキスト内情報をよりよく活用できるLMを作成する手法を提案する。
概念認識トレーニングのデータサンプリングはモデルの推論能力を継続的に改善する。
論文 参考訳(メタデータ) (2023-05-23T07:44:52Z) - INGENIOUS: Using Informative Data Subsets for Efficient Pre-Training of
Language Models [40.54353850357839]
トレーニングコーパスの高度に代表的なサブセットを選択するために、サブモジュラー最適化を利用する方法を示す。
その結果,完全学習モデルの性能の最大$sim99%が得られた。
論文 参考訳(メタデータ) (2023-05-11T09:24:41Z) - Evaluating Representations with Readout Model Switching [18.475866691786695]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。
我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。
提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文 参考訳(メタデータ) (2023-02-19T14:08:01Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Scalable and Efficient MoE Training for Multitask Multilingual Models [55.987536562357086]
我々は,MoEモデルを数兆のパラメータに効率的にスケールできるシステムを開発した。
また,MoEサンプルの効率を向上させるための新たなトレーニング手法を提案し,時間効率を向上させるために専門家の刈り取り戦略を活用する。
50言語で100億のパラメータで訓練されたモデルは、機械翻訳(MT)および多言語自然言語生成タスクにおける最先端のパフォーマンスを達成することができる。
論文 参考訳(メタデータ) (2021-09-22T00:57:46Z) - Model Embedding Model-Based Reinforcement Learning [4.566180616886624]
モデルベース強化学習(MBRL)は、モデルフリー強化学習(MFRL)よりもサンプル効率が優れていることを示す。
しかし、データ生成の容易さとモデルのバイアスとの間には、依然としてトレードオフがある。
本稿では,確率的強化学習の枠組みとして,シンプルでエレガントなモデル埋め込み型強化学習(MEMB)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-16T15:10:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。