論文の概要: Ensemble Making Few-Shot Learning Stronger
- arxiv url: http://arxiv.org/abs/2105.11904v1
- Date: Wed, 12 May 2021 17:11:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-06 08:50:08.410941
- Title: Ensemble Making Few-Shot Learning Stronger
- Title（参考訳）: 少数の学習をより強くするアンサンブル
- Authors: Qing Lin, Yongbin Liu, Wen Wen, Zhihua Tao
- Abstract要約: 本稿では,差分低減のためのアンサンブル手法について検討し,関係レベルの特徴をキャリブレーションするための微調整と特徴的注意戦略を提案する。
数ショットの相関学習タスクの結果、我々のモデルは従来の最先端モデルよりも大幅に優れていた。
- 参考スコア（独自算出の注目度）: 4.17701749612924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot learning has been proposed and rapidly emerging as a viable means
for completing various tasks. Many few-shot models have been widely used for
relation learning tasks. However, each of these models has a shortage of
capturing a certain aspect of semantic features, for example, CNN on long-range
dependencies part, Transformer on local features. It is difficult for a single
model to adapt to various relation learning, which results in the high variance
problem. Ensemble strategy could be competitive on improving the accuracy of
few-shot relation extraction and mitigating high variance risks. This paper
explores an ensemble approach to reduce the variance and introduces fine-tuning
and feature attention strategies to calibrate relation-level features. Results
on several few-shot relation learning tasks show that our model significantly
outperforms the previous state-of-the-art models.
- Abstract（参考訳）: さまざまなタスクを完了するための有効な手段として、数少ない学習が提案され、急速に発展している。
多くの少数ショットモデルが関係学習に広く使われている。
しかし、これらのモデルには、例えば、長距離依存関係のcnn、ローカル機能でのtransformerなど、セマンティック機能の特定の側面を捉えることが欠けている。
一つのモデルが様々な関係学習に適応することは困難であり、結果として高分散問題が発生する。
アンサンブル戦略は、数発の関係抽出の精度を改善し、高い分散リスクを軽減するために競争する可能性がある。
本稿では,分散を小さくするためのアンサンブル手法を検討し,関係レベルの特徴を校正するために,微調整と特徴注意戦略を導入する。
数ショットの相関学習タスクの結果、我々のモデルは従来の最先端モデルよりも大幅に優れていた。
関連論文リスト
- Bridging Domains with Approximately Shared Features [26.096779584142986]
マルチソースドメイン適応は、未知のドメインに機械学習モデルを適用する際のパフォーマンス劣化を低減することを目的としている。
ソースドメインから不変の機能を学ぶことを支持する者もいれば、より多様な機能を好む者もいる。
本稿では,それらの相関関係のばらつきに基づいて特徴の効用を識別し,ドメイン間で$y$のラベルを付ける統計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-11T04:25:41Z) - An Empirical Investigation into Benchmarking Model Multiplicity for
Trustworthy Machine Learning: A Case Study on Image Classification [0.8702432681310401]
本稿では,モデル設計の様々な側面にまたがる多重性の1ストップ実験ベンチマークを提案する。
また,マルチプライシティシート(multiplicity sheets)と呼ばれるフレームワークを開発し,様々なシナリオにおけるマルチプライシティのベンチマークを行う。
モデル選択中に追加仕様を適用した後でも,マルチプライシティがディープラーニングモデルに持続することを示す。
論文 参考訳（メタデータ） (2023-11-24T22:30:38Z) - Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。
DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。
そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
論文 参考訳（メタデータ） (2023-11-23T15:47:33Z) - Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts
in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。
拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文 参考訳（メタデータ） (2023-10-03T17:37:52Z) - Phasic Content Fusing Diffusion Model with Directional Distribution
Consistency for Few-Shot Model Adaption [73.98706049140098]
本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。
具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。
最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
論文 参考訳（メタデータ） (2023-09-07T14:14:11Z) - Exploring Task Difficulty for Few-Shot Relation Extraction [22.585574542329677]
Few-shot Relation extract (FSRE) は、わずかに注釈付きインスタンスで学習することで、新しい関係を認識することに焦点を当てている。
本稿では,関係ラベル情報を活用することで,より良い表現を学習するコントラスト学習に基づく新しいアプローチを提案する。
論文 参考訳（メタデータ） (2021-09-12T09:40:33Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Byzantine Resilient Distributed Multi-Task Learning [6.850757447639822]
タスク間の関連性を学習するための分散アルゴリズムは、ビザンティンエージェントの存在下では回復力がないことを示す。
ビザンチンレジリエントな分散マルチタスク学習のためのアプローチを提案する。
論文 参考訳（メタデータ） (2020-10-25T04:32:52Z) - Learning from demonstration using products of experts: applications to
manipulation and task prioritization [12.378784643460474]
異なるタスク空間におけるモデルの融合は、専門家(PoE)の積として表現できることを示す。
複数の実験を行い、PoEフレームワークで異なるモデルを共同で学習することで、モデルの品質が大幅に向上することを示した。
論文 参考訳（メタデータ） (2020-10-07T16:24:41Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳（メタデータ） (2020-06-12T12:23:50Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。