Fugu-MT 論文翻訳(概要): A Novel Metric for Measuring the Robustness of Large Language Models in Non-adversarial Scenarios

論文の概要: A Novel Metric for Measuring the Robustness of Large Language Models in Non-adversarial Scenarios

arxiv url: http://arxiv.org/abs/2408.01963v2
Date: Mon, 4 Nov 2024 13:32:40 GMT
ステータス: 処理完了
システム内更新日: 2024-11-08 13:07:08.081814
Title: A Novel Metric for Measuring the Robustness of Large Language Models in Non-adversarial Scenarios
Title（参考訳）: 非言語シナリオにおける大規模言語モデルのロバスト性測定のための新しい指標
Authors: Samuel Ackerman, Ella Rabinovich, Eitan Farchi, Ateret Anaby-Tavor,
Abstract要約: 複数のデータセット上で複数の大規模言語モデルのロバスト性を評価する。ベンチマークデータセットは、自然に保存され、重複しない摂動を導入することで構築される。
参考スコア（独自算出の注目度）: 5.617202699068449
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We evaluate the robustness of several large language models on multiple datasets. Robustness here refers to the relative insensitivity of the model's answers to meaning-preserving variants of their input. Benchmark datasets are constructed by introducing naturally-occurring, non-malicious perturbations, or by generating semantically equivalent paraphrases of input questions or statements. We further propose a novel metric for assessing a model robustness, and demonstrate its benefits in the non-adversarial scenario by empirical evaluation of several models on the created datasets.
Abstract（参考訳）: 複数のデータセット上で複数の大規模言語モデルのロバスト性を評価する。ここでのロバスト性は、入力の意味を保存する変種に対するモデルの答えの相対的不感度を指す。ベンチマークデータセットは、自然に発生し、重複しない摂動を導入するか、または入力された質問やステートメントの意味論的に等価なパラフレーズを生成することによって構築される。さらに、モデルロバスト性を評価するための新しい指標を提案し、生成したデータセット上の複数のモデルの経験的評価により、非敵シナリオにおけるその利点を実証する。

関連論文リスト

Relation-based Counterfactual Data Augmentation and Contrastive Learning for Robustifying Natural Language Inference Models [0.0]
本稿では,トークンベースおよび文ベースの拡張手法を用いて,対実文ペアを生成する手法を提案する。提案手法は,NLIモデルの性能とロバスト性を向上させることができることを示す。
論文参考訳（メタデータ） (2024-10-28T03:43:25Z)
Improving Explainability of Softmax Classifiers Using a Prototype-Based Joint Embedding Method [0.0]
本稿では,ソフトマックス分類器の説明可能性向上のための試作手法を提案する。モデルアーキテクチャの変更とトレーニングにより、予測に寄与する原型例のサンプル化が可能となる。我々は、ソフトマックスの信頼性よりも分布データから検出できる不確実性の指標を得る。
論文参考訳（メタデータ） (2024-07-02T13:59:09Z)
Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文参考訳（メタデータ） (2024-03-11T05:35:38Z)
Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。 Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
論文参考訳（メタデータ） (2023-09-14T17:45:51Z)
Evaluation of Faithfulness Using the Longest Supported Subsequence [52.27522262537075]
本稿では,文脈によって支持される請求項の最長不連続性を計算し,機械生成テキストの忠実さを評価する新しい手法を提案する。新しい人間アノテーション付きデータセットを使用して、モデルを微調整してLongest Supported Subsequence(LSS)を生成する。提案手法は,我々のデータセットの忠実度に対する最先端のメトリクスよりも18%向上していることを示す。
論文参考訳（メタデータ） (2023-08-23T14:18:44Z)
An Evaluation Dataset and Strategy for Building Robust Multi-turn Response Selection Model [3.20238141000059]
マルチターン応答選択モデルは、最近、いくつかのベンチマークデータセットで人間に匹敵する性能を示した。現実の環境では、これらのモデルは、表面パターンに強く依存した誤った予測を行うなど、しばしば弱点がある。
論文参考訳（メタデータ） (2021-09-10T12:36:13Z)
Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文参考訳（メタデータ） (2021-07-07T11:17:09Z)
Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文参考訳（メタデータ） (2021-06-01T22:33:53Z)
A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文参考訳（メタデータ） (2021-05-20T15:18:06Z)
How to compare adversarial robustness of classifiers from a global perspective [0.0]
敵対的攻撃は、機械学習モデルの信頼性と信頼性を損なう。特定の脅威モデルのポイントワイド測度は、現在、分類器の堅牢性を比較するための最も一般的なツールである。本研究では,最近提案されたロバストネス曲線を用いて,ポイントワイド測度が重要なグローバルな特性を捉えることができないことを示す。
論文参考訳（メタデータ） (2020-04-22T22:07:49Z)
Predicting Multidimensional Data via Tensor Learning [0.0]
本研究では,本データセットの内在的多次元構造を保持するモデルを開発する。モデルパラメータを推定するために、オルタネート・リースト・スクエアスアルゴリズムを開発した。提案モデルは,予測文献に存在するベンチマークモデルより優れている。
論文参考訳（メタデータ） (2020-02-11T11:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。