Fugu-MT 論文翻訳(概要): Domain Pre-training Impact on Representations

論文の概要: Domain Pre-training Impact on Representations

arxiv url: http://arxiv.org/abs/2505.24455v1
Date: Fri, 30 May 2025 10:42:43 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-02 19:47:52.910724
Title: Domain Pre-training Impact on Representations
Title（参考訳）: ドメイン事前トレーニングが表現に与える影響
Authors: Cesar Gonzalez-Gutierrez, Ariadna Quattoni,
Abstract要約: 事前学習を通じてのみ誘導される表現品質に焦点をあてる。実験により,小型の特殊コーパスによる事前学習が効果的に表現できることが示唆された。
参考スコア（独自算出の注目度）: 2.5091819952713057
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This empirical study analyzes the effects of the pre-training corpus on the quality of learned transformer representations. We focus on the representation quality induced solely through pre-training. Our experiments show that pre-training on a small, specialized corpus can yield effective representations, and that the success of combining a generic and a specialized corpus depends on the distributional similarity between the target task and the specialized corpus.
Abstract（参考訳）: 本研究は,事前学習コーパスが学習したトランスフォーマー表現の質に及ぼす影響を実験的に分析する。事前学習を通じてのみ誘導される表現品質に焦点をあてる。実験の結果,小型の特殊コーパスの事前学習が効果的に表現でき,汎用コーパスと特殊コーパスを組み合わせる成功は,目標タスクと特殊コーパスの分布的類似性に依存することがわかった。

関連論文リスト

The Effects of In-domain Corpus Size on pre-training BERT [0.0]
バイオメディカルコーパスの大きさの異なる変換器(BERT)による双方向表現の事前訓練を行った。その結果、比較的少数のドメイン内データ(4GB)をトレーニング段階の制限で事前トレーニングすることで、下流ドメイン固有のNLPタスクのパフォーマンスが向上することが示された。
論文参考訳（メタデータ） (2022-12-15T15:49:27Z)
Measuring the Impact of Individual Domain Factors in Self-Supervised Pre-Training [60.825471653739555]
音素領域因子は事前学習において重要な役割を担っているが,文法的・統語的要因はそれほど重要ではない。本研究は,音声認識のための自己教師付き事前学習における事前学習セットのドメイン特性をよりよく理解するための最初の研究である。
論文参考訳（メタデータ） (2022-03-01T17:40:51Z)
On Efficient Transformer and Image Pre-training for Low-level Vision [74.22436001426517]
プレトレーニングは、ハイレベルコンピュータビジョンにおける多くの最先端の芸術である。画像事前学習の詳細な研究について述べる。低レベルのタスクでは,事前トレーニングが極めて異なる役割を担っています。
論文参考訳（メタデータ） (2021-12-19T15:50:48Z)
Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文参考訳（メタデータ） (2021-09-22T10:47:51Z)
Pre-training also Transfers Non-Robustness [20.226917627173126]
一般化への貢献が認められているにもかかわらず、事前学習は、事前訓練されたモデルから微調整されたモデルへの非破壊性も伝達する。その結果, 損耗を緩和し, 一般化を保ち, 有効性を検証した。
論文参考訳（メタデータ） (2021-06-21T11:16:13Z)
On the Interplay Between Fine-tuning and Composition in Transformers [7.513100214864645]
本研究では,微調整が文脈的埋め込み能力に及ぼす影響について検討する。具体的には、語彙重なりの大きい逆パラフレーズ分類タスクと感情分類タスクを微調整する。微調整はこれらの表現における構成性の恩恵をほとんど得られないが、感情に関するトレーニングは特定のモデルに対して小さな局所的な利益をもたらす。
論文参考訳（メタデータ） (2021-05-31T01:49:56Z)
Self-supervised Augmentation Consistency for Adapting Semantic Segmentation [56.91850268635183]
本稿では,実用的かつ高精度な意味セグメンテーションのためのドメイン適応手法を提案する。私たちは標準データ拡張技術である$-$フォトメトリックノイズ、フリップとスケーリング$-$を採用し、セマンティック予測の一貫性を保証する。適応後の最先端セグメンテーション精度を大幅に改善し、バックボーンアーキテクチャと適応シナリオの異なる選択に整合性を持たせる。
論文参考訳（メタデータ） (2021-04-30T21:32:40Z)
ReMP: Rectified Metric Propagation for Few-Shot Learning [67.96021109377809]
修正されたメートル法空間は、トレーニングからテストまでのメートル法一貫性を維持するために学習される。多くの分析結果から、目的の単純な修正がかなりの性能向上をもたらすことが示唆された。提案したReMPは効率的で効率的であり、様々な標準的な数発の学習データセットで芸術の状態を上回ります。
論文参考訳（メタデータ） (2020-12-02T00:07:53Z)
Usable Information and Evolution of Optimal Representations During Training [79.38872675793813]
特に、意味的に意味があるが究極的には無関係な情報は、訓練の初期の過渡的ダイナミクスに符号化されている。文献に触発された知覚的意思決定タスクと標準画像分類タスクの両方にこれらの効果を示す。
論文参考訳（メタデータ） (2020-10-06T03:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。