論文の概要: Linearity of Relation Decoding in Transformer Language Models

• arxiv url: http://arxiv.org/abs/2308.09124v2
• Date: Thu, 15 Feb 2024 19:12:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 20:29:40.804606
• Title: Linearity of Relation Decoding in Transformer Language Models
• Title（参考訳）: トランスフォーマー言語モデルにおける関係復号の線形性
• Authors: Evan Hernandez, Arnab Sen Sharma, Tal Haklay, Kevin Meng, Martin Wattenberg, Jacob Andreas, Yonatan Belinkov, David Bau
• Abstract要約: トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。 関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
• 参考スコア（独自算出の注目度）: 82.47019600662874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Much of the knowledge encoded in transformer language models (LMs) may be expressed in terms of relations: relations between words and their synonyms, entities and their attributes, etc. We show that, for a subset of relations, this computation is well-approximated by a single linear transformation on the subject representation. Linear relation representations may be obtained by constructing a first-order approximation to the LM from a single prompt, and they exist for a variety of factual, commonsense, and linguistic relations. However, we also identify many cases in which LM predictions capture relational knowledge accurately, but this knowledge is not linearly encoded in their representations. Our results thus reveal a simple, interpretable, but heterogeneously deployed knowledge representation strategy in transformer LMs.
• Abstract（参考訳）: トランスフォーマー言語モデル(lms)にエンコードされる知識の多くは、単語とその同義語、エンティティとその属性の関係など、関係性の観点から表現することができる。 関係のサブセットに対して、この計算は対象表現上の単一の線型変換によって近似されることを示す。 線形関係表現は、単一のプロンプトからlmへの一階近似を構築して得られることができ、それらは様々な事実的、常識的、言語的関係に対して存在する。 しかし,lm予測が関係知識を正確にとらえるケースが多数存在するが,その知識が表現に線形符号化されていない。 この結果から,トランスフォーマLMにおける知識表現戦略は単純かつ解釈可能であるが,不均一に展開されていることがわかった。

関連論文リスト

• Provably Transformers Harness Multi-Concept Word Semantics for Efficient In-Context Learning [53.685764040547625]
  トランスフォーマーベースの大規模言語モデル(LLM)は、卓越した創造力と出現能力を示している。 この研究は、トランスフォーマーが単語のマルチコンセプトセマンティクスをどのように活用し、強力なICLと優れたアウト・オブ・ディストリビューションICL能力を実現するかを示すための数学的解析を提供する。
  論文  参考訳（メタデータ） (2024-11-04T15:54:32Z)
• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• MLLM-SR: Conversational Symbolic Regression base Multi-Modal Large Language Models [13.136507215114722]
  MLLM-SRは,要求を自然言語で記述することで,要求を満たす表現を生成できる対話型記号回帰法である。 我々は,MLLM-SRが自然言語命令に付加される事前知識を十分に理解できることを実験的に実証した。
  論文  参考訳（メタデータ） (2024-06-08T09:17:54Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• Evaluating Transformer's Ability to Learn Mildly Context-Sensitive Languages [6.227678387562755]
  近年の研究では、非正規言語や文脈自由言語でさえ、自己意識は理論的に学習に限られていることが示唆されている。 様々な複雑さの文脈に敏感な言語を学習するトランスフォーマーの能力をテストする。 分析の結果,学習した自己注意パターンと表現が依存性関係をモデル化し,計数行動を示した。
  論文  参考訳（メタデータ） (2023-09-02T08:17:29Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Combining Transformers with Natural Language Explanations [13.167758466408825]
  本稿では,外部記憶を利用して自然言語記述を記憶し,それらを分類結果の説明に利用するトランスフォーマーモデルの拡張を提案する。 法的なテキスト分析と議論マイニングという2つの領域を実験的に評価し,分類性能を維持したり改善したりしながら,本手法が関連する説明を得られることを示す。
  論文  参考訳（メタデータ） (2021-09-02T09:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。