Fugu-MT 論文翻訳(概要): Diversity-Aware Ensembling of Language Models Based on Topological Data Analysis

論文の概要: Diversity-Aware Ensembling of Language Models Based on Topological Data Analysis

arxiv url: http://arxiv.org/abs/2402.14184v1
Date: Thu, 22 Feb 2024 00:04:21 GMT
ステータス: 処理完了
システム内更新日: 2024-02-23 16:51:42.530220
Title: Diversity-Aware Ensembling of Language Models Based on Topological Data Analysis
Title（参考訳）: トポロジカルデータ解析に基づく言語モデルの多様性認識
Authors: Polina Proskura, Alexey Zaytsev
Abstract要約: 既存のアプローチは主に、各モデルに等しい重みを持つアンサンブルによる予測の単純な平均化に依存している。我々は,NLPモデルのアンサンブルに対する重み付けを,個々の性能の知識だけでなく,互いに類似した知識を用いて推定することを提案する。
参考スコア（独自算出の注目度）: 3.1734682813501514
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Ensembles are important tools for improving the performance of machine learning models. In cases related to natural language processing, ensembles boost the performance of a method due to multiple large models available in open source. However, existing approaches mostly rely on simple averaging of predictions by ensembles with equal weights for each model, ignoring differences in the quality and conformity of models. We propose to estimate weights for ensembles of NLP models using not only knowledge of their individual performance but also their similarity to each other. By adopting distance measures based on Topological Data Analysis (TDA), we improve our ensemble. The quality improves for both text classification accuracy and relevant uncertainty estimation.
Abstract（参考訳）: アンサンブルは、機械学習モデルのパフォーマンスを改善するための重要なツールである。自然言語処理に関連する場合、アンサンブルはオープンソースで利用可能な複数の大きなモデルのためにメソッドのパフォーマンスを高める。しかし、既存のアプローチはモデルごとに等しい重みを持つアンサンブルによる予測の単純な平均化に依存しており、モデルの質と適合性の違いを無視している。我々は,NLPモデルのアンサンブルに対する重み付けを,個々の性能の知識だけでなく,互いに類似した知識を用いて推定する。位相データ解析(tda)に基づく距離尺度を採用することで,アンサンブルを改善する。品質はテキスト分類精度と関連する不確実性推定の両方を改善する。

関連論文リスト

A Statistical Framework for Ranking LLM-Based Chatbots [57.59268154690763]
本稿では、ペア比較分析における特定の課題に対処するために、重要な進歩を取り入れた統計フレームワークを提案する。まず,人力比較のグルーピング処理能力を高める要因付きタイモデルを提案する。第2に、フレームワークを拡張して、競合間の共分散層をモデル化することで、パフォーマンス関係に関するより深い洞察を可能にします。第三に、パラメータ非特異性に起因する最適化の課題を、新しい制約を導入することで解決する。
論文参考訳（メタデータ） (2024-12-24T12:54:19Z)
A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
論文参考訳（メタデータ） (2024-11-20T20:38:56Z)
Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文参考訳（メタデータ） (2024-10-06T15:25:39Z)
A Comparison of Modeling Preprocessing Techniques [0.0]
本稿では,構造化データに対する予測性能の観点から,各種データ処理手法の性能を比較した。様々な構造、相互作用、複雑さの3つのデータセットが構築された。特徴選択,分類的ハンドリング,ヌル計算のいくつかの手法を比較した。
論文参考訳（メタデータ） (2023-02-23T14:11:08Z)
Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文参考訳（メタデータ） (2022-12-19T20:46:43Z)
Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文参考訳（メタデータ） (2022-12-14T07:35:20Z)
Analyzing Bagging Methods for Language Models [0.5161531917413708]
我々は,バッジ言語モデルの解析を行い,単一言語モデルと最終モデルサイズで大まかに等価なタグ付きアンサンブルを比較した。我々のアンサンブル法は、少なくとも1つのLMベースラインとほぼ同等である。
論文参考訳（メタデータ） (2022-07-19T06:30:37Z)
How not to Lie with a Benchmark: Rearranging NLP Leaderboards [0.0]
一般的なNLPベンチマークの総合評価手法について検討し、幾何平均と調和平均でモデルを並べ替える。我々は、GLUE、SuperGLUE、XGLUE、XTREMEなどの人気のあるベンチマークを分析した。
論文参考訳（メタデータ） (2021-12-02T15:40:52Z)
Conceptually Diverse Base Model Selection for Meta-Learners in Concept Drifting Data Streams [3.0938904602244355]
本稿では,基礎となる部分空間間の主アングル(PA)を用いて計算したベースモデルの概念的類似性を推定するための新しいアプローチを提案する。オンライン・トランスファー・ラーニング(TL)の文脈における共通アンサンブル・プルーニング・メトリクス、すなわち予測性能と相互情報(MI)を用いた閾値付けに対するこれらの手法の評価を行った。その結果、概念的類似度閾値は計算オーバーヘッドを低減し、予測性能とMIを用いて閾値に匹敵する予測性能が得られることがわかった。
論文参考訳（メタデータ） (2021-11-29T13:18:53Z)
Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文参考訳（メタデータ） (2021-10-07T11:58:35Z)
Ensemble Learning-Based Approach for Improving Generalization Capability of Machine Reading Comprehension Systems [0.7614628596146599]
機械読み取り(MRC)は、近年、多くの開発が成功した自然言語処理の活発な分野である。分布精度が高いにもかかわらず、これらのモデルには2つの問題がある。本稿では,大規模モデルを再学習することなく,MCCシステムの一般化を改善するためのアンサンブル学習手法の効果について検討する。
論文参考訳（メタデータ） (2021-07-01T11:11:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。