論文の概要: Visual Comparison of Language Model Adaptation
- arxiv url: http://arxiv.org/abs/2208.08176v1
- Date: Wed, 17 Aug 2022 09:25:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-18 12:53:04.453222
- Title: Visual Comparison of Language Model Adaptation
- Title（参考訳）: 言語モデル適応の視覚的比較
- Authors: Rita Sevastjanova, Eren Cakmak, Shauli Ravfogel, Ryan Cotterell, and
Mennatallah El-Assady
- Abstract要約: アダプタは、モデル適応のための軽量な代替品です。
本稿では,インタラクティブな視覚的説明手法について,いくつかの設計と代替案について論じる。
例えば、文脈0の埋め込みに従って言語脱バイアスタスクを訓練したアダプタが、新しいタイプのバイアスをもたらすことを示す。
- 参考スコア（独自算出の注目度）: 55.92129223662381
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural language models are widely used; however, their model parameters often
need to be adapted to the specific domains and tasks of an application, which
is time- and resource-consuming. Thus, adapters have recently been introduced
as a lightweight alternative for model adaptation. They consist of a small set
of task-specific parameters with a reduced training time and simple parameter
composition. The simplicity of adapter training and composition comes along
with new challenges, such as maintaining an overview of adapter properties and
effectively comparing their produced embedding spaces. To help developers
overcome these challenges, we provide a twofold contribution. First, in close
collaboration with NLP researchers, we conducted a requirement analysis for an
approach supporting adapter evaluation and detected, among others, the need for
both intrinsic (i.e., embedding similarity-based) and extrinsic (i.e.,
prediction-based) explanation methods. Second, motivated by the gathered
requirements, we designed a flexible visual analytics workspace that enables
the comparison of adapter properties. In this paper, we discuss several design
iterations and alternatives for interactive, comparative visual explanation
methods. Our comparative visualizations show the differences in the adapted
embedding vectors and prediction outcomes for diverse human-interpretable
concepts (e.g., person names, human qualities). We evaluate our workspace
through case studies and show that, for instance, an adapter trained on the
language debiasing task according to context-0 (decontextualized) embeddings
introduces a new type of bias where words (even gender-independent words such
as countries) become more similar to female than male pronouns. We demonstrate
that these are artifacts of context-0 embeddings.
- Abstract（参考訳）: ニューラルネットワークモデルは広く使われているが、そのモデルパラメータは、時間とリソース消費であるアプリケーションの特定のドメインとタスクに適応する必要がある。
このように、アダプタはモデル適応の軽量な代替手段として最近導入された。
それらは、訓練時間と単純なパラメータ構成の少ない、タスク固有のパラメータの小さなセットから構成される。
アダプタのトレーニングと構成の単純さは、アダプタプロパティの概要を維持し、生成された埋め込み空間を効果的に比較するなど、新しい課題と共にくる。
開発者がこれらの課題を克服するのを助けるために、私たちは2倍のコントリビューションを提供しています。
まず,nlp研究者との密接なコラボレーションにより,アダプタ評価を支援するアプローチの要件分析を行い,内在的(すなわち類似性に基づく)と外在的(すなわち予測に基づく)な説明方法の両方の必要性を検出した。
第2に、収集された要求を動機として、アダプタ特性の比較を可能にするフレキシブルな視覚分析ワークスペースを設計した。
本稿では,インタラクティブな視覚的説明手法のいくつかの設計イテレーションと代替案について論じる。
私たちの比較可視化では, 多様な概念(人名, 人格など)に対して, 適応した組込みベクトルと予測結果の差異を示す。
ケーススタディを通じて作業空間を評価し,例えば,文脈0(脱コンテクスチュア化)埋め込みに基づく言語脱バイアスタスクを訓練したアダプタが,単語(国など性別に依存しない単語でさえ)が男性代名詞よりも女性に類似する新しいタイプの偏見を導入することを示す。
これらはコンテキスト0埋め込みの成果物であることを示す。
関連論文リスト
- Beyond Coarse-Grained Matching in Video-Text Retrieval [50.799697216533914]
きめ細かい評価のための新しいアプローチを導入する。
テストキャプションを自動的に生成することで,既存のデータセットにアプローチを適用することができる。
きめ細かい評価実験は、このアプローチがきめ細かな違いを理解するモデルの能力を高めることを実証している。
論文 参考訳（メタデータ） (2024-10-16T09:42:29Z) - HeGraphAdapter: Tuning Multi-Modal Vision-Language Models with Heterogeneous Graph Adapter [19.557300178619382]
本稿では,下流タスクに対するVLMのチューニングを実現するために,新しいヘテロジニアスグラフアダプタを提案する。
我々は、下流タスクの多モード構造知識を探索するために、特定の不均一グラフニューラルネットワークを用いる。
11のベンチマークデータセットの実験結果は、提案したHeGraphAdapterの有効性とメリットを示している。
論文 参考訳（メタデータ） (2024-10-10T12:20:58Z) - How Language Models Prioritize Contextual Grammatical Cues? [3.9790222241649587]
複数のジェンダーキュー語が存在する場合、言語モデルがジェンダー合意をどのように扱うかを検討する。
この結果から,エンコーダベースのモデルとデコーダベースのモデルでは,予測にコンテキスト情報を優先し,使用する方法に顕著な違いが認められた。
論文 参考訳（メタデータ） (2024-10-04T14:09:05Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳（メタデータ） (2022-12-21T02:41:40Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - Efficient Multi-Modal Embeddings from Structured Data [0.0]
マルチモーダルワードセマンティクスは、知覚入力による埋め込みを強化することを目的としている。
ビジュアルグラウンドは言語アプリケーションにも貢献できる。
新しい埋め込みは、テキストベースの埋め込みのための補完的な情報を伝達する。
論文 参考訳（メタデータ） (2021-10-06T08:42:09Z) - Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。
提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
論文 参考訳（メタデータ） (2021-04-20T17:56:24Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳（メタデータ） (2020-09-24T07:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。