Fugu-MT 論文翻訳(概要): Interpretability of Language Models via Task Spaces

論文の概要: Interpretability of Language Models via Task Spaces

arxiv url: http://arxiv.org/abs/2406.06441v1
Date: Mon, 10 Jun 2024 16:34:30 GMT
ステータス: 処理完了
システム内更新日: 2024-06-11 12:59:23.966295
Title: Interpretability of Language Models via Task Spaces
Title（参考訳）: タスク空間による言語モデルの解釈可能性
Authors: Lucas Weber, Jaap Jumelet, Elia Bruni, Dieuwke Hupkes,
Abstract要約: 本稿では,解釈言語モデル (LM) の代替手法を提案する。我々は、LM処理の品質に焦点を合わせ、言語能力に焦点をあてる。言語現象間の関係を照らす「言語的タスク空間」を構築した。
参考スコア（独自算出の注目度）: 14.543168558734001
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The usual way to interpret language models (LMs) is to test their performance on different benchmarks and subsequently infer their internal processes. In this paper, we present an alternative approach, concentrating on the quality of LM processing, with a focus on their language abilities. To this end, we construct 'linguistic task spaces' -- representations of an LM's language conceptualisation -- that shed light on the connections LMs draw between language phenomena. Task spaces are based on the interactions of the learning signals from different linguistic phenomena, which we assess via a method we call 'similarity probing'. To disentangle the learning signals of linguistic phenomena, we further introduce a method called 'fine-tuning via gradient differentials' (FTGD). We apply our methods to language models of three different scales and find that larger models generalise better to overarching general concepts for linguistic tasks, making better use of their shared structure. Further, the distributedness of linguistic processing increases with pre-training through increased parameter sharing between related linguistic tasks. The overall generalisation patterns are mostly stable throughout training and not marked by incisive stages, potentially explaining the lack of successful curriculum strategies for LMs.
Abstract（参考訳）: 言語モデル(LM)を解釈する一般的な方法は、異なるベンチマークでパフォーマンスをテストし、その後内部プロセスを予測することである。本稿では,LM処理の品質に着目し,言語能力に着目した代替手法を提案する。この目的のために、我々は、LMの言語概念化の表現である「言語的タスク空間」を構築し、LMが言語現象の間に引き起こす関係に光を当てる。課題空間は、異なる言語現象からの学習信号の相互作用に基づいており、我々は「類似性探索」と呼ばれる手法を用いて評価する。さらに,言語現象の学習信号を解き放つために,「勾配微分による微調整(FTGD)」という手法を導入する。提案手法を3つの異なるスケールの言語モデルに適用し,より大規模なモデルが言語課題の一般的な概念を体系化し,それらの共有構造をよりよく活用することを見出した。さらに、言語処理の分散性は、関連する言語タスク間のパラメータ共有の増大を通じて事前学習によって増大する。全般的な一般化パターンは、トレーニングを通じて安定しており、切迫した段階を特徴とせず、LMのカリキュラム戦略が成功していないことを説明できる可能性がある。

関連論文リスト

Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
論文参考訳（メタデータ） (2024-11-01T01:51:31Z)
Linguistically Grounded Analysis of Language Models using Shapley Head Values [2.914115079173979]
最近提案されたシェープヘッド値(SHV)を用いた言語モデル探索手法を利用した形態素合成現象の処理について検討する。英語のBLiMPデータセットを用いて、BERTとRoBERTaという2つの広く使われているモデルに対して、我々のアプローチを検証し、言語構造がどのように扱われるかを比較する。以上の結果から,SHVに基づく属性は両モデルにまたがる異なるパターンを明らかにし,言語モデルがどのように言語情報を整理・処理するかの洞察を与える。
論文参考訳（メタデータ） (2024-10-17T09:48:08Z)
Assessing Code Generation with Intermediate Languages [6.999311675957218]
本研究では、様々なプログラミング言語、自然言語ソリューション、擬似コードを含む中間言語の利用について検討する。以上の結果から, 中間言語は一般に, 最先端性能を達成できていない大規模モデルにおいて, 高い有効性を示すことが明らかとなった。
論文参考訳（メタデータ） (2024-07-07T15:35:41Z)
Large Language Models are Interpretable Learners [53.56735770834617]
本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
論文参考訳（メタデータ） (2024-06-25T02:18:15Z)
Probing LLMs for Joint Encoding of Linguistic Categories [10.988109020181563]
大規模言語モデル(LLM)における言語カテゴリーの合同符号化をテストするためのフレームワークを提案する。関連音声(POS)クラスと異なる(POSクラスと関連する構文依存関係)言語階層の双方で共同符号化の証拠を見いだした。
論文参考訳（メタデータ） (2023-10-28T12:46:40Z)
Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization [27.368684663279463]
本稿では,言語間の概念対応を明確に整合させ,言語間の一般化を促進する可能性について検討する。言語構文の側面をテストベッドとして,43言語を解析した結果,高い整合性を示した。本稿では,メタラーニングに基づく概念空間の整合学習手法を提案する。
論文参考訳（メタデータ） (2023-10-19T14:50:51Z)
On the cross-lingual transferability of multilingual prototypical models across NLU tasks [2.44288434255221]
教師付きディープラーニングベースのアプローチはタスク指向のダイアログに適用され、限られたドメインや言語アプリケーションに有効であることが証明されている。実際には、これらのアプローチはドメイン駆動設計とアンダーリソース言語の欠点に悩まされている。本稿では,原型ニューラルネットワークと多言語トランスフォーマーモデルを用いた相乗的少数ショット学習の言語間変換可能性について検討する。
論文参考訳（メタデータ） (2022-07-19T09:55:04Z)
Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
論文参考訳（メタデータ） (2022-04-11T15:55:20Z)
Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
論文参考訳（メタデータ） (2022-03-16T11:06:50Z)
SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文参考訳（メタデータ） (2020-10-30T13:33:41Z)
Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。