論文の概要: Ensemble Making Few-Shot Learning Stronger
- arxiv url: http://arxiv.org/abs/2105.11904v1
- Date: Wed, 12 May 2021 17:11:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-06 08:50:08.410941
- Title: Ensemble Making Few-Shot Learning Stronger
- Title（参考訳）: 少数の学習をより強くするアンサンブル
- Authors: Qing Lin, Yongbin Liu, Wen Wen, Zhihua Tao
- Abstract要約: 本稿では,差分低減のためのアンサンブル手法について検討し,関係レベルの特徴をキャリブレーションするための微調整と特徴的注意戦略を提案する。
数ショットの相関学習タスクの結果、我々のモデルは従来の最先端モデルよりも大幅に優れていた。
- 参考スコア（独自算出の注目度）: 4.17701749612924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot learning has been proposed and rapidly emerging as a viable means
for completing various tasks. Many few-shot models have been widely used for
relation learning tasks. However, each of these models has a shortage of
capturing a certain aspect of semantic features, for example, CNN on long-range
dependencies part, Transformer on local features. It is difficult for a single
model to adapt to various relation learning, which results in the high variance
problem. Ensemble strategy could be competitive on improving the accuracy of
few-shot relation extraction and mitigating high variance risks. This paper
explores an ensemble approach to reduce the variance and introduces fine-tuning
and feature attention strategies to calibrate relation-level features. Results
on several few-shot relation learning tasks show that our model significantly
outperforms the previous state-of-the-art models.
- Abstract（参考訳）: さまざまなタスクを完了するための有効な手段として、数少ない学習が提案され、急速に発展している。
多くの少数ショットモデルが関係学習に広く使われている。
しかし、これらのモデルには、例えば、長距離依存関係のcnn、ローカル機能でのtransformerなど、セマンティック機能の特定の側面を捉えることが欠けている。
一つのモデルが様々な関係学習に適応することは困難であり、結果として高分散問題が発生する。
アンサンブル戦略は、数発の関係抽出の精度を改善し、高い分散リスクを軽減するために競争する可能性がある。
本稿では,分散を小さくするためのアンサンブル手法を検討し,関係レベルの特徴を校正するために,微調整と特徴注意戦略を導入する。
数ショットの相関学習タスクの結果、我々のモデルは従来の最先端モデルよりも大幅に優れていた。
関連論文リスト
- Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [74.02034188307857]
複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。
既存の手法は必然的にタスク固有の情報を破棄し、競合の原因となっているが、パフォーマンスには不可欠である。
我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
論文 参考訳（メタデータ） (2025-01-02T12:45:21Z) - RADIOv2.5: Improved Baselines for Agglomerative Vision Foundation Models [60.596005921295806]
集約モデルは、ビジョンファウンデーションモデルをトレーニングするための強力なアプローチとして現れています。
我々は、解像度モードシフト、教師の不均衡、慣用的教師アーティファクト、過剰な出力トークンなど、重要な課題を識別する。
本稿では,マルチレゾリューショントレーニング,モザイク強化,教師の損失関数のバランスの改善など,いくつかの新しいソリューションを提案する。
論文 参考訳（メタデータ） (2024-12-10T17:06:41Z) - ConsistentFeature: A Plug-and-Play Component for Neural Network Regularization [0.32885740436059047]
過パラメータ化されたニューラルネットワークモデルは、トレーニングとテストセットの間に大きなパフォーマンスの相違をもたらすことが多い。
モデルは異なるデータセットで異なる表現を学習する。
適応的手法であるConsistentFeatureを提案し、同じトレーニングセットのランダムなサブセット間で特徴差を制約することでモデルを正規化する。
論文 参考訳（メタデータ） (2024-12-02T13:21:31Z) - Bridging Domains with Approximately Shared Features [26.096779584142986]
マルチソースドメイン適応は、未知のドメインに機械学習モデルを適用する際のパフォーマンス劣化を低減することを目的としている。
ソースドメインから不変の機能を学ぶことを支持する者もいれば、より多様な機能を好む者もいる。
本稿では,それらの相関関係のばらつきに基づいて特徴の効用を識別し,ドメイン間で$y$のラベルを付ける統計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-11T04:25:41Z) - Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts
in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。
拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文 参考訳（メタデータ） (2023-10-03T17:37:52Z) - Phasic Content Fusing Diffusion Model with Directional Distribution
Consistency for Few-Shot Model Adaption [73.98706049140098]
本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。
具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。
最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
論文 参考訳（メタデータ） (2023-09-07T14:14:11Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Byzantine Resilient Distributed Multi-Task Learning [6.850757447639822]
タスク間の関連性を学習するための分散アルゴリズムは、ビザンティンエージェントの存在下では回復力がないことを示す。
ビザンチンレジリエントな分散マルチタスク学習のためのアプローチを提案する。
論文 参考訳（メタデータ） (2020-10-25T04:32:52Z) - Learning from demonstration using products of experts: applications to
manipulation and task prioritization [12.378784643460474]
異なるタスク空間におけるモデルの融合は、専門家(PoE)の積として表現できることを示す。
複数の実験を行い、PoEフレームワークで異なるモデルを共同で学習することで、モデルの品質が大幅に向上することを示した。
論文 参考訳（メタデータ） (2020-10-07T16:24:41Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳（メタデータ） (2020-06-12T12:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。