論文の概要: Separating Tongue from Thought: Activation Patching Reveals Language-Agnostic Concept Representations in Transformers

• arxiv url: http://arxiv.org/abs/2411.08745v1
• Date: Wed, 13 Nov 2024 16:26:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:11:51.844990
• Title: Separating Tongue from Thought: Activation Patching Reveals Language-Agnostic Concept Representations in Transformers
• Title（参考訳）: 思考から舌を分離する: アクティベーション・パッチングはトランスフォーマーの言語非依存概念表現を探求する
• Authors: Clément Dumas, Chris Wendler, Veniamin Veselovsky, Giovanni Monea, Robert West,
• Abstract要約: 変圧器に基づく言語モデルにおいて,単語翻訳作業中の潜時表現(潜時表現)を解析する。 出力言語は、翻訳される概念よりも前のレイヤの潜在層にエンコードされていることが分かりました。 本研究は,言語に依存しない概念表現の存在を実証するものである。
• 参考スコア（独自算出の注目度）: 12.94303673025761
• License:
• Abstract: A central question in multilingual language modeling is whether large language models (LLMs) develop a universal concept representation, disentangled from specific languages. In this paper, we address this question by analyzing latent representations (latents) during a word translation task in transformer-based LLMs. We strategically extract latents from a source translation prompt and insert them into the forward pass on a target translation prompt. By doing so, we find that the output language is encoded in the latent at an earlier layer than the concept to be translated. Building on this insight, we conduct two key experiments. First, we demonstrate that we can change the concept without changing the language and vice versa through activation patching alone. Second, we show that patching with the mean over latents across different languages does not impair and instead improves the models' performance in translating the concept. Our results provide evidence for the existence of language-agnostic concept representations within the investigated models.
• Abstract（参考訳）: 多言語言語モデリングにおける中心的な問題は、大きな言語モデル(LLM)が特定の言語から切り離された普遍的な概念表現を開発するかどうかである。 本稿では,変圧器を用いたLLMにおける単語翻訳作業中の潜時表現(潜時表現)を解析することにより,この問題に対処する。 我々は、ソース翻訳プロンプトからラテントを戦略的に抽出し、ターゲット翻訳プロンプトのフォワードパスに挿入する。 これにより、出力言語は翻訳される概念よりも前の層で潜在言語にエンコードされていることが分かる。 この洞察に基づいて、私たちは2つの重要な実験を行います。 まず、アクティベーションパッチだけで言語を変更することなく、概念を変更できることを示します。 第二に、異なる言語にまたがる平均値に対するパッチは障害がなく、代わりに概念を翻訳する際のモデルの性能が向上することを示す。 本研究は,言語に依存しない概念表現の存在を実証するものである。

関連論文リスト

• Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages [55.157295899188476]
  ニューラルマシン翻訳システムは、異なる言語の文を共通の表現空間にマッピングすることを学ぶ。 本研究では、この仮説を未知の言語からのゼロショット翻訳により検証する。 この設定により、全く見えない言語からのゼロショット翻訳が可能になることを実証する。
  論文  参考訳（メタデータ） (2024-08-05T07:58:58Z)
• Multilingual Contrastive Decoding via Language-Agnostic Layers Skipping [60.458273797431836]
  対照的なレイヤ(DoLa)によるデコーディングは、大規模言語モデルの生成品質を改善するために設計されている。 このアプローチは英語以外のタスクではうまくいきません。 モデルの前方通過における言語遷移に関する従来の解釈可能性の研究から着想を得て,改良されたコントラスト復号アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-15T15:14:01Z)
• Do Llamas Work in English? On the Latent Language of Multilingual Transformers [13.885884589999492]
  我々は、英語が支配するコーパスが、英語を内的ピボット言語として使っているかどうかを問う。 本研究は、独特な正しい単語継続を伴う英語でないプロンプトを慎重に構築する。 これらの結果を、3つの位相が「入力空間」、「概念空間」、「出力空間」で機能する概念モデルにキャストした。
  論文  参考訳（メタデータ） (2024-02-16T11:21:28Z)
• Unveiling Multilinguality in Transformer Models: Exploring Language Specificity in Feed-Forward Networks [12.7259425362286]
  多言語モデルがキー値記憶をどのように活用するかを検討する。 2つ以上の言語で訓練された自己回帰モデルに対して、すべてのニューロン(層全体)は全ての言語に等しく反応するのか? その結果,ネットワークの入力や出力に最も近い層は,中間層に比べて言語固有の振る舞いを示す傾向があることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T06:45:00Z)
• Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
  言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。 固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-11T18:11:37Z)
• Cross-lingual Transfer of Monolingual Models [2.332247755275824]
  本稿では,ドメイン適応に基づくモノリンガルモデルの言語間移動手法を提案する。 我々は、4つの異なる言語から英語へのそのような移動の効果について研究する。
  論文  参考訳（メタデータ） (2021-09-15T15:00:53Z)
• First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT [2.2931318723689276]
  言語間移動は、ある言語への関心のタスクを微調整し、ある言語を個別に評価することから生じる。 多言語bertは,マルチリンガルエンコーダとタスク固有言語非依存予測器の2つのサブネットワークの積み重ねと見なすことができる。 エンコーダは言語間移動に不可欠であり、微調整中はほとんど変化しないが、タスク予測器は転写にほとんど重要ではなく、微調整時に赤くなる。
  論文  参考訳（メタデータ） (2021-01-26T22:12:38Z)
• Improving Zero-Shot Translation by Disentangling Positional Information [24.02434897109097]
  言語固有の表現を引き起こす主な要因は、入力トークンに対する位置対応であることを示す。 指示方向の品質を維持しながら、ゼロショット翻訳で最大18.5 BLEUポイントを得る。
  論文  参考訳（メタデータ） (2020-12-30T12:20:41Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Self-Attention with Cross-Lingual Position Representation [112.05807284056337]
  位置符号化(PE)は、自然言語処理タスクの単語順序情報を保存し、入力シーケンスの固定位置インデックスを生成する。 語順が異なるため、言語間の位置関係をモデル化することは、SANがこの問題に取り組むのに役立つ。 我々は、入力文のバイリンガル認識潜在構造をモデル化するために、言語間位置表現によるSANを拡大する。
  論文  参考訳（メタデータ） (2020-04-28T05:23:43Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。