Fugu-MT 論文翻訳(概要): LMdiff: A Visual Diff Tool to Compare Language Models

論文の概要: LMdiff: A Visual Diff Tool to Compare Language Models

arxiv url: http://arxiv.org/abs/2111.01582v1
Date: Tue, 2 Nov 2021 13:17:20 GMT
ステータス: 処理完了
システム内更新日: 2021-11-03 14:04:26.666724
Title: LMdiff: A Visual Diff Tool to Compare Language Models
Title（参考訳）: lmdiff: 言語モデルを比較するためのビジュアルdiffツール
Authors: Hendrik Strobelt, Benjamin Hoover, Arvind Satyanarayan, Sebastian Gehrmann
Abstract要約: LMdiffは異なる2つのモデルの確率分布を視覚的に比較するツールである。複数のケーススタディにまたがって仮説生成におけるLMdiffの適用性を示す。
参考スコア（独自算出の注目度）: 25.229215469012637
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: While different language models are ubiquitous in NLP, it is hard to contrast their outputs and identify which contexts one can handle better than the other. To address this question, we introduce LMdiff, a tool that visually compares probability distributions of two models that differ, e.g., through finetuning, distillation, or simply training with different parameter sizes. LMdiff allows the generation of hypotheses about model behavior by investigating text instances token by token and further assists in choosing these interesting text instances by identifying the most interesting phrases from large corpora. We showcase the applicability of LMdiff for hypothesis generation across multiple case studies. A demo is available at http://lmdiff.net .
Abstract（参考訳）: 異なる言語モデルはNLPにおいてユビキタスであるが、出力を対比し、どの文脈が他の言語よりもうまく扱えるかを特定することは困難である。この問題に対処するために,我々は,微調整や蒸留,あるいは単に異なるパラメータサイズでのトレーニングを通じて,異なる2つのモデルの確率分布を視覚的に比較するツールであるlmdiffを紹介する。 LMdiffは、トークンによるテキストインスタンストークンの調査によるモデル行動に関する仮説の生成を可能にし、大きなコーパスから最も興味深いフレーズを識別することで、これらの興味深いテキストインスタンスの選択を支援する。複数のケーススタディにまたがって仮説生成におけるLMdiffの適用性を示す。デモはhttp://lmdiff.net.com/で見ることができる。

関連論文リスト

Effects of diversity incentives on sample diversity and downstream model performance in LLM-based text augmentation [6.647958966528349]
クラウドソーシングにおいて確立された3つのテキスト多様性インセンティブ手法について検討する。タブー語によって多様性が最も増大することが示されるが、下流モデルの性能はヒントを伴って最高である。
論文参考訳（メタデータ） (2024-01-12T15:46:43Z)
diff History for Neural Language Agents [37.24009814390211]
これらの問題に対するシンプルで効果的なソリューションである差分履歴を導入します。 The Unix diff command on continuous text observed in the interaction histories used to prompt LM policy, we can be abstract away redundant information。意思決定のために長い水平推論を必要とする未解決のビデオゲームであるNetHackでは、diff履歴を調整したLMがニューラルエージェントの最先端のパフォーマンスにマッチする。
論文参考訳（メタデータ） (2023-12-12T18:59:30Z)
Describing Differences in Image Sets with Natural Language [106.19434836499316]
モデルの振る舞いを理解し、データセットを分析するためには、セットレベルの差異を識別することが不可欠である。本稿では、まずイメージをキャプションし、言語モデルに差分記述を提案するVisDiffを紹介する。データセットとモデルにこれまで知られていなかった興味深い違いを見つけることができ、微妙な洞察を明らかにする上で、VisDiffの実用性を示すことができます。
論文参考訳（メタデータ） (2023-12-05T18:59:16Z)
In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
論文参考訳（メタデータ） (2023-05-24T05:04:00Z)
LM-Switch: Lightweight Language Model Conditioning in Word Embedding Space [45.645632406931945]
本稿では,ジェネレーティブ言語モデルコンディショニングのための理論的基礎と軽量でシンプルな手法であるLM-Switchを紹介する。 LM-Switchは多種多様なタスクをモデル化でき、最先端のベースラインと比較して同等あるいは優れたパフォーマンスが得られることを示す。
論文参考訳（メタデータ） (2023-05-22T07:52:04Z)
MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space [110.85888003111653]
マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。マルチアスペクト制御のための新しいアプローチ、すなわちMacLaSaを導入し、複数の側面に対してコンパクトな潜在空間を推定する。また,MacLaSaは,高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上させることを示す。
論文参考訳（メタデータ） (2023-05-22T07:30:35Z)
Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models [9.808214545408541]
LinguisticLensは,データセットの構文的多様性を理解し解析するための,新たなインタラクティブな可視化ツールである。テキストデータセットの階層的な可視化をサポートしており、ユーザーは概要を素早くスキャンし、個々の例を検査することができる。
論文参考訳（メタデータ） (2023-05-19T00:53:45Z)
Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。我々のモデルは、$N$言語で並列データを操作する。本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文参考訳（メタデータ） (2022-12-21T02:41:40Z)
Multivariate Data Explanation by Jumping Emerging Patterns Visualization [78.6363825307044]
多変量データセットにおけるパターンの識別と視覚的解釈を支援するVAX(multiVariate dAta eXplanation)を提案する。既存の類似のアプローチとは異なり、VAXはJumping Emerging Patternsという概念を使って、複数の多様化したパターンを特定し、集約し、データ変数のロジックの組み合わせを通して説明を生成する。
論文参考訳（メタデータ） (2021-06-21T13:49:44Z)
Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文参考訳（メタデータ） (2020-11-13T10:53:27Z)
SentenceMIM: A Latent Variable Language Model [19.39122632876056]
SentenceMIMは言語データのための確率論的オートエンコーダである。ミューチュアル・インフォメーション・マシン(MIM)を用いて学習し、可変長言語観測の固定長表現を提供する。本研究では,質問応答学習と伝達学習のための学習モデルを用いて文MIMの汎用性を実証する。
論文参考訳（メタデータ） (2020-02-18T15:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。