論文の概要: The Low-Resource Double Bind: An Empirical Study of Pruning for
Low-Resource Machine Translation
- arxiv url: http://arxiv.org/abs/2110.03036v1
- Date: Wed, 6 Oct 2021 19:48:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-09 12:03:54.762261
- Title: The Low-Resource Double Bind: An Empirical Study of Pruning for
Low-Resource Machine Translation
- Title（参考訳）: 低リソースダブルボンド:低リソース機械翻訳におけるプルーニングの実証的研究
- Authors: Orevaoghene Ahia, Julia Kreutzer, Sara Hooker
- Abstract要約: ディープニューラルネットワークにおける多くのパラメータの爆発的増加は、最先端のネットワークを計算制限された環境でアクセスできるようにすることをますます困難にしている。
ローリソースダブルバインド(Low-resource double bind)とは、データ制限と計算リソースの制約の共起を指す。
我々の研究は、機械翻訳のタスクにおいて、データ制限されたレギュレーションにおけるキャパシティと一般化の関係に関する驚くべき洞察を提供する。
- 参考スコア（独自算出の注目度）: 8.2987165990395
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A "bigger is better" explosion in the number of parameters in deep neural
networks has made it increasingly challenging to make state-of-the-art networks
accessible in compute-restricted environments. Compression techniques have
taken on renewed importance as a way to bridge the gap. However, evaluation of
the trade-offs incurred by popular compression techniques has been centered on
high-resource datasets. In this work, we instead consider the impact of
compression in a data-limited regime. We introduce the term low-resource double
bind to refer to the co-occurrence of data limitations and compute resource
constraints. This is a common setting for NLP for low-resource languages, yet
the trade-offs in performance are poorly studied. Our work offers surprising
insights into the relationship between capacity and generalization in
data-limited regimes for the task of machine translation. Our experiments on
magnitude pruning for translations from English into Yoruba, Hausa, Igbo and
German show that in low-resource regimes, sparsity preserves performance on
frequent sentences but has a disparate impact on infrequent ones. However, it
improves robustness to out-of-distribution shifts, especially for datasets that
are very distinct from the training distribution. Our findings suggest that
sparsity can play a beneficial role at curbing memorization of low frequency
attributes, and therefore offers a promising solution to the low-resource
double bind.
- Abstract（参考訳）: ディープニューラルネットワークのパラメータ数の増加によって、最先端のネットワークを計算制限された環境でアクセス可能にすることがますます難しくなっている。
圧縮技術はギャップを埋める手段として重要視されている。
しかし、一般的な圧縮技術によるトレードオフの評価は、高リソースデータセットを中心に行われている。
本研究では,データ制限方式における圧縮の影響について考察する。
本稿では,データ制限と計算資源制約の共起を指すために,低リソースのダブルバインドという用語を導入する。
これは低リソース言語のNLPでは一般的な設定だが、性能上のトレードオフは十分に研究されていない。
本研究は,機械翻訳作業におけるデータ制限レジームにおけるキャパシティと一般化の関係について,驚くべき知見を与える。
ヨルバ語、ハウサ語、イグボ語、ドイツ語への翻訳のための大まかなプルーニング実験では、低資源体制では、スパーサリティは頻繁な文のパフォーマンスを保っているが、頻度の低い文には異なる影響があることが示されている。
しかし、特にトレーニング分布と非常に異なるデータセットに対して、分散外シフトに対する堅牢性が向上する。
以上の結果から,スパーシティは低周波特性の記憶抑制に有益であり,低リソースの二重結合に対する有望な解決法であることが示唆された。
関連論文リスト
- QUITO-X: A New Perspective on Context Compression from the Information Bottleneck Theory [66.01597794579568]
問題をモデル化するために情報ボトルネック理論(IB)を導入する。
IBにおける相互情報に近似するクロスアテンションに基づく手法を提案する。
提案手法は,最先端技術と比較して25%の圧縮率向上を実現している。
論文 参考訳（メタデータ） (2024-08-20T02:44:45Z) - Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。
その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。
その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
論文 参考訳（メタデータ） (2024-06-26T15:11:26Z) - What Happens When Small Is Made Smaller? Exploring the Impact of Compression on Small Data Pretrained Language Models [2.2871867623460216]
本稿では, AfriBERTa を用いた低リソース小データ言語モデルにおいて, プルーニング, 知識蒸留, 量子化の有効性について検討する。
実験のバッテリを用いて,圧縮が精度を超えるいくつかの指標のパフォーマンスに与える影響を評価する。
論文 参考訳（メタデータ） (2024-04-06T23:52:53Z) - Joint Dropout: Improving Generalizability in Low-Resource Neural Machine
Translation through Phrase Pair Variables [17.300004156754966]
本稿では,低リソースのニューラルマシン翻訳において,句を変数に置き換えることによる課題に対処する,ジョイントドロップアウト(Joint Dropout)という手法を提案する。
BLEU と Direct Assessment のスコアに示すように,最小限のリソースを持つ言語対の翻訳品質は大幅に向上した。
論文 参考訳（メタデータ） (2023-07-24T14:33:49Z) - Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文 参考訳（メタデータ） (2023-04-07T13:41:08Z) - Semi-supervised Neural Machine Translation with Consistency
Regularization for Low-Resource Languages [3.475371300689165]
本稿では,高品質な文ペアを増補し,半教師付き方式でNMTモデルを訓練することにより,低リソース言語の問題に対処する,シンプルかつ効果的な手法を提案する。
具体的には、教師あり学習におけるクロスエントロピー損失と、疑似および拡張的対象文が与えられた教師なしのファッションにおけるKLディバージェンスを組み合わせる。
実験の結果,提案手法はNMTベースライン,特に0.46-2.03BLEUスコアを持つ低リソースデータセットにおいて,NMTベースラインを大幅に改善することが示された。
論文 参考訳（メタデータ） (2023-04-02T15:24:08Z) - Towards Realistic Low-resource Relation Extraction: A Benchmark with
Empirical Baseline Study [51.33182775762785]
本稿では,低リソース環境下での関係抽出システムを構築するための実証的研究について述べる。
低リソース環境での性能を評価するための3つのスキームについて検討する。 (i) ラベル付きラベル付きデータを用いた異なるタイプのプロンプトベース手法、 (ii) 長期分布問題に対処する多様なバランシング手法、 (iii) ラベル付きインドメインデータを生成するためのデータ拡張技術と自己学習。
論文 参考訳（メタデータ） (2022-10-19T15:46:37Z) - What Do Compressed Multilingual Machine Translation Models Forget? [102.50127671423752]
平均BLEUはわずかに減少するが,表現不足言語の性能は著しく低下する。
圧縮は,高リソース言語においても,本質的な性差や意味バイアスを増幅することを示した。
論文 参考訳（メタデータ） (2022-05-22T13:54:44Z) - Variational Information Bottleneck for Effective Low-Resource
Fine-Tuning [40.66716433803935]
低リソースターゲットタスクの微調整において,無関係な特徴を抑えるために,変動情報ボット (VIB) を提案する。
我々のVIBモデルは、自然言語推論データセットのバイアスに対してより堅牢な文表現を見つける。
論文 参考訳（メタデータ） (2021-06-10T03:08:13Z) - DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep
Learning [79.89085533866071]
本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。
DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。
大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
論文 参考訳（メタデータ） (2021-02-05T11:31:24Z) - Establishing Baselines for Text Classification in Low-Resource Languages [0.0]
テキスト分類のためのベンチマークデータセットとして、未発表のデータセットを2つ導入する。
次に、フィリピン設定で使用するために、より優れたBERTとDistilBERTモデルを事前訓練する。
第3に,モデルの性能劣化に対する抵抗を,トレーニングサンプル数を減らすことでベンチマークする簡易劣化試験を導入する。
論文 参考訳（メタデータ） (2020-05-05T11:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。