Fugu-MT 論文翻訳(概要): TopEx: Topic-based Explanations for Model Comparison

論文の概要: TopEx: Topic-based Explanations for Model Comparison

arxiv url: http://arxiv.org/abs/2306.00976v1
Date: Thu, 1 Jun 2023 17:59:10 GMT
ステータス: 処理完了
システム内更新日: 2023-06-02 13:50:36.515763
Title: TopEx: Topic-based Explanations for Model Comparison
Title（参考訳）: TopEx: モデル比較のためのトピックベースの説明
Authors: Shreya Havaldar, Adam Stein, Eric Wong, Lyle Ungar
Abstract要約: そこで本論文では,モデルに依存しないトピックを通じて,言語モデルを比較するためのレベルプレイフィールドを実現するための説明手法であるTopExを提案する。様々なNLPタスクにおいて、TopEx が DistilRoBERTa と GPT-2 の類似点と相違点を識別できることを実証する。
参考スコア（独自算出の注目度）: 15.00476445177044
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Meaningfully comparing language models is challenging with current explanation methods. Current explanations are overwhelming for humans due to large vocabularies or incomparable across models. We present TopEx, an explanation method that enables a level playing field for comparing language models via model-agnostic topics. We demonstrate how TopEx can identify similarities and differences between DistilRoBERTa and GPT-2 on a variety of NLP tasks.
Abstract（参考訳）: 言語モデルの比較は、現在の説明手法では困難である。現在の説明は、大きな語彙やモデル間で比較できないため、人間にとって圧倒的に多い。そこで本論文では,モデルに依存しないトピックを用いて,言語モデルを比較するためのレベルプレイフィールドを提供する。様々なNLPタスクにおいて、TopEx が DistilRoBERTa と GPT-2 の類似点と相違点を識別できることを実証する。

関連論文リスト

What Makes Two Language Models Think Alike? [6.244579327420724]
本稿では,メタラーニング符号化モデル(MLEM)に基づく新しい手法を提案する。 MLEMは、類似性と相違の原因となる特定の言語的特徴を特定することによって、透過的な比較を提供する。このアプローチは、音声や視覚などの他の領域や、人間の脳を含む他の神経系にも直接拡張できる。
論文参考訳（メタデータ） (2024-06-18T13:45:50Z)
Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文参考訳（メタデータ） (2024-03-26T12:47:39Z)
Perturbed examples reveal invariances shared by language models [8.04604449335578]
2つのNLPモデルを比較するための新しいフレームワークを提案する。このフレームワークは、同じおよび異なるアーキテクチャファミリーのモデルに関する実験であり、モデルの変化が言語機能にどのように影響するかについての洞察を提供する。
論文参考訳（メタデータ） (2023-11-07T17:48:35Z)
Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
論文参考訳（メタデータ） (2023-10-23T03:48:24Z)
Machine Reading, Fast and Slow: When Do Models "Understand" Language? [59.897515617661874]
本稿では,2つの言語スキル(コア参照の解決と比較)に関して,理解モデルを読み取る行動について検討する。比較のため(コアではない)、より大きなエンコーダに基づくシステムは、より「正しい」情報に依存する傾向にあることがわかった。
論文参考訳（メタデータ） (2022-09-15T16:25:44Z)
Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文参考訳（メタデータ） (2022-02-21T18:32:24Z)
Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文参考訳（メタデータ） (2021-09-16T03:08:22Z)
Contrastive Explanations for Model Interpretability [77.92370750072831]
分類モデルの対照的説明を生成する手法を提案する。本手法は潜在空間へのモデル表現の投影に基づいている。本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
論文参考訳（メタデータ） (2021-03-02T00:36:45Z)
ANLIzing the Adversarial Natural Language Inference Dataset [46.7480191735164]
我々は最近導入された大規模ヒューマン・アンド・モデル・イン・ザ・ループ自然言語推論データセットであるAdversarial NLI(ANLI)の詳細な誤差解析を行う。本稿では,金の分類ラベルに責任を負う推論のさまざまな側面の詳細なアノテーションスキームを提案し,それをANLI開発セットの3つすべてに手書きする。
論文参考訳（メタデータ） (2020-10-24T01:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。