論文の概要: Fusing Models with Complementary Expertise
- arxiv url: http://arxiv.org/abs/2310.01542v1
- Date: Mon, 2 Oct 2023 18:31:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 19:30:35.455801
- Title: Fusing Models with Complementary Expertise
- Title(参考訳): 補足的専門知識を持つ住宅モデル
- Authors: Hongyi Wang, Felipe Maia Polo, Yuekai Sun, Souvik Kundu, Eric Xing,
Mikhail Yurochkin
- Abstract要約: データ分布の相補的な知識で専門家モデルの出力を融合させるFoE(Fusion of Experts)問題を考える。
我々の方法は差別的タスクと生成的タスクの両方に当てはまる。
- 参考スコア(独自算出の注目度): 44.60955450789187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training AI models that generalize across tasks and domains has long been
among the open problems driving AI research. The emergence of Foundation Models
made it easier to obtain expert models for a given task, but the heterogeneity
of data that may be encountered at test time often means that any single expert
is insufficient. We consider the Fusion of Experts (FoE) problem of fusing
outputs of expert models with complementary knowledge of the data distribution
and formulate it as an instance of supervised learning. Our method is
applicable to both discriminative and generative tasks and leads to significant
performance improvements in image and text classification, text summarization,
multiple-choice QA, and automatic evaluation of generated text. We also extend
our method to the "frugal" setting where it is desired to reduce the number of
expert model evaluations at test time.
- Abstract(参考訳): タスクやドメインをまたいで一般化するAIモデルを訓練することは、AI研究を推進しているオープンな問題のひとつだ。
Foundation Modelsの出現により、与えられたタスクのエキスパートモデルを簡単に取得できるようになったが、テスト時に遭遇する可能性のあるデータの異質性は、単一の専門家が不十分であることを意味することが多い。
我々は,データ分布に関する補完的知識と専門家モデルの出力を融合し,教師付き学習の例として定式化する,専門家問題(foe)を考える。
本手法は識別的タスクと生成的タスクの両方に適用可能であり,画像とテキストの分類,テキスト要約,複数選択QA,生成テキストの自動評価において,大幅な性能向上をもたらす。
また、テスト時のエキスパートモデル評価の回数を減らすことを望む「フルーガル」設定にもメソッドを拡張します。
関連論文リスト
- Improving QA Model Performance with Cartographic Inoculation [0.0]
データセットアーティファクト"は、実世界のQA問題に一般化するモデルの能力を低下させる。
逆問題集合を用いてデータセットアーティファクトの影響と頻度を解析する。
課題集合から曖昧な逆数例のモデルを選択的に微調整することにより、大幅な性能改善が可能であることを示す。
論文 参考訳(メタデータ) (2024-01-30T23:08:26Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。
外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
論文 参考訳(メタデータ) (2023-02-16T16:45:36Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Automatic inference of fault tree models via multi-objective
evolutionary algorithms [1.189955933770711]
フォールトツリー解析は信頼性工学とリスクアセスメントにおいてよく知られている手法である。
伝統的に、フォールトツリーモデルはドメインの専門家と一緒に手動で構築される。
インダストリアル4.0では、インスペクションとモニタリングデータの利用が増加し、関連する大規模データセットから知識を抽出する技術が開発されている。
本稿では,人間の介入を伴わない障害データセットに含まれる障害機構の完全な表現を実現するために,効率的なFT構造を推論するためのデータ駆動手法を提案する。
論文 参考訳(メタデータ) (2022-04-06T13:19:41Z) - TsmoBN: Interventional Generalization for Unseen Clients in Federated
Learning [23.519212374186232]
本研究では,分散学習パラダイムにおけるモデル一般化の課題を説明するために,学習構造因果モデル(SCM)を構築した。
FLモデルをテストクライアントに一般化するために,テスト固有および運動量追跡バッチ正規化(TsmoBN)を用いた簡易かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2021-10-19T13:46:37Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳(メタデータ) (2021-06-02T00:48:33Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [89.01584399789951]
歴史的専門家の意思決定を豊富な情報源として利用することを検討します。
観察されたラベルだけで学習する制限を緩和するために活用できることを示しています。
論文 参考訳(メタデータ) (2021-01-24T05:40:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。