Fugu-MT 論文翻訳(概要): Zero-Shot Estimation of Base Models' Weights in Ensemble of Machine Reading Comprehension Systems for Robust Generalization

論文の概要: Zero-Shot Estimation of Base Models' Weights in Ensemble of Machine Reading Comprehension Systems for Robust Generalization

arxiv url: http://arxiv.org/abs/2106.16013v1
Date: Wed, 30 Jun 2021 12:22:30 GMT
ステータス: 処理完了
システム内更新日: 2021-07-01 20:02:47.271454
Title: Zero-Shot Estimation of Base Models' Weights in Ensemble of Machine Reading Comprehension Systems for Robust Generalization
Title（参考訳）: ロバスト一般化のための機械読解システムにおけるベースモデルの重みのゼロショット推定
Authors: Razieh Baradaran and Hossein Amirkhani
Abstract要約: MRCモデルにおける領域外一般化のロバスト性を改善するため,ゼロショット重み付きアンサンブル法を利用する。実験により,提案手法は最終精度を向上するだけでなく,領域変更に対して堅牢であることが示された。
参考スコア（独自算出の注目度）: 0.7614628596146599
License: http://creativecommons.org/licenses/by/4.0/
Abstract: One of the main challenges of the machine reading comprehension (MRC) models is their fragile out-of-domain generalization, which makes these models not properly applicable to real-world general-purpose question answering problems. In this paper, we leverage a zero-shot weighted ensemble method for improving the robustness of out-of-domain generalization in MRC models. In the proposed method, a weight estimation module is used to estimate out-of-domain weights, and an ensemble module aggregate several base models' predictions based on their weights. The experiments indicate that the proposed method not only improves the final accuracy, but also is robust against domain changes.
Abstract（参考訳）: 機械読み取り理解モデル(MRC)の主な課題の1つは、その脆弱なドメイン外一般化であり、現実の汎用的な質問応答問題には適さない。本稿では, ゼロショット重み付けアンサンブル法を用いて, MRCモデルにおける領域外一般化のロバスト性を改善する。提案手法では,重み推定モジュールを用いてドメイン外の重みを推定し,アンサンブルモジュールはその重みに基づいて複数のベースモデルの予測を集約する。実験の結果,提案手法は最終精度を向上するだけでなく,領域変更に対して堅牢であることがわかった。

関連論文リスト

Advancing Cross-Domain Generalizability in Face Anti-Spoofing: Insights, Design, and Metrics [10.631157315662607]
本稿では,ゼロショットデータ領域の一般化におけるアンチ・スプーフィング性能の向上に向けた新たな視点を提案する。従来のフレームワイドのスプーフィング予測に先立ち、ビデオワイドの予測のためにフレームレベルの確率を集約するニュアンス付き計量計算を導入する。最終モデルは、データセット全体で既存の最先端メソッドよりも優れています。
論文参考訳（メタデータ） (2024-06-18T04:15:22Z)
Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文参考訳（メタデータ） (2024-05-01T15:59:00Z)
Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文参考訳（メタデータ） (2023-11-10T08:50:28Z)
Model Agnostic Sample Reweighting for Out-of-Distribution Learning [38.843552982739354]
我々は,OOD問題に効果的に対応するために,基本的手法であるtextbfAgnostic SamtextbfPLe rtextbfEweighting (textbfMAPLE)を提案する。我々のキーとなる考え方は、トレーニングサンプルを効果的に再重み付けすることで、大規模モデルの標準的な経験的リスク最小化トレーニングがOOD一般化性能に優れたものとなるようにすることである。
論文参考訳（メタデータ） (2023-01-24T05:11:03Z)
On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文参考訳（メタデータ） (2022-06-09T17:12:32Z)
Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
論文参考訳（メタデータ） (2022-05-22T16:37:53Z)
Robustness of Machine Learning Models Beyond Adversarial Attacks [0.0]
本稿では,MLモデルのロバスト性を決定する上で,敵対的ロバスト性や近縁なメトリクスが必ずしも有効な指標ではないことを示す。アプリケーション毎に個別に入力データの摂動をモデル化するフレキシブルなアプローチを提案する。これは、現実の摂動が予測を変える可能性を計算する確率論的アプローチと組み合わせられる。
論文参考訳（メタデータ） (2022-04-21T12:09:49Z)
Robustness to Augmentations as a Generalization metric [0.0]
一般化とは、目に見えないドメインを予測するモデルの能力です。拡張に頑健なモデルは、そうでないモデルよりも一般化可能であるという概念を用いて、モデルの一般化性能を予測する手法を提案する。提案手法は、ディープラーニングにおける一般化予測に関するNeurIPSコンペティションの最初のランナーアップソリューションであった。
論文参考訳（メタデータ） (2021-01-16T15:36:38Z)
Stein Variational Model Predictive Control [130.60527864489168]
不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
論文参考訳（メタデータ） (2020-11-15T22:36:59Z)
Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。