論文の概要: Backpack Language Models

• arxiv url: http://arxiv.org/abs/2305.16765v1
• Date: Fri, 26 May 2023 09:26:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 16:02:53.027356
• Title: Backpack Language Models
• Title（参考訳）: バックパック言語モデル
• Authors: John Hewitt, John Thickstun, Christopher D. Manning, Percy Liang
• Abstract要約: Backpacksは、強力なモデリング性能と、解釈可能性と制御のためのインターフェースを組み合わせた、新しいニューラルアーキテクチャである。 学習のあと、感覚ベクトルが特殊化され、それぞれが単語の異なる側面を符号化することがわかった。 本稿では,感覚ベクトルに介入し,制御可能なテキスト生成とデバイアスを行うシンプルなアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 108.65930795825416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Backpacks: a new neural architecture that marries strong modeling performance with an interface for interpretability and control. Backpacks learn multiple non-contextual sense vectors for each word in a vocabulary, and represent a word in a sequence as a context-dependent, non-negative linear combination of sense vectors in this sequence. We find that, after training, sense vectors specialize, each encoding a different aspect of a word. We can interpret a sense vector by inspecting its (non-contextual, linear) projection onto the output space, and intervene on these interpretable hooks to change the model's behavior in predictable ways. We train a 170M-parameter Backpack language model on OpenWebText, matching the loss of a GPT-2 small (124Mparameter) Transformer. On lexical similarity evaluations, we find that Backpack sense vectors outperform even a 6B-parameter Transformer LM's word embeddings. Finally, we present simple algorithms that intervene on sense vectors to perform controllable text generation and debiasing. For example, we can edit the sense vocabulary to tend more towards a topic, or localize a source of gender bias to a sense vector and globally suppress that sense.
• Abstract（参考訳）: Backpacks: 解釈性と制御のためのインターフェースを備えた強力なモデリングパフォーマンスをマージする,新たなニューラルアーキテクチャを提案する。 バックパックは語彙で各単語の複数の非文脈感覚ベクトルを学習し、このシーケンスにおける感覚ベクトルの文脈依存的、非負の線形結合としてシーケンス内の単語を表現する。 学習のあと、感覚ベクトルが特殊化され、それぞれが単語の異なる側面を符号化することがわかった。 感覚ベクトルは、その(非文脈的、直線的)射影を出力空間に検査することで解釈でき、これらの解釈可能なフックに介入して、予測可能な方法でモデルの振る舞いを変えることができる。 我々はOpenWebText上で170MパラメータのBackpack言語モデルをトレーニングし、GPT-2の小さい(124Mparameter)トランスの損失と一致する。 語彙的類似性評価では,Backpack の感覚ベクトルは 6B パラメータ変換器 LM の単語埋め込みよりも優れていた。 最後に,感覚ベクトルに干渉して制御可能なテキスト生成とデバイアスを行う単純なアルゴリズムを提案する。 例えば、センセーショナル語彙を編集してトピックに傾向を向けたり、ジェンダーバイアスのソースをセンスベクトルにローカライズしたり、そのセンスを世界規模で抑制することができる。

関連論文リスト

• Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic Interpretability: A Case Study on Othello-GPT [59.245414547751636]
  本稿では,アクティベーションパッチに代わる回路発見フレームワークを提案する。 当社のフレームワークはアウト・オブ・ディストリビューション(out-of-distribution)に悩まされており、複雑さの観点からより効率的であることが証明されています。 我々はOthelloという名前の合成タスクで訓練された小さなトランスフォーマーを掘り下げ、その内部に人間に理解可能な微細な回路がいくつかある。
  論文  参考訳（メタデータ） (2024-02-19T15:04:53Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Character-level Chinese Backpack Language Models [19.329707412615047]
  文字入力中国語でBackpack言語モデルを訓練し、評価し、解釈し、制御する。 134Mパラメータの中国語 Backpack言語モデルが,104Mパラメータの変換器に対して可逆的に動作していることが判明した。 複雑なマルチ文字の意味はしばしば、コンテキスト全体にわたって同じ文字単位の重みを用いて形成される。
  論文  参考訳（メタデータ） (2023-10-19T13:54:57Z)
• Analyzing Transformer Dynamics as Movement through Embedding Space [0.0]
  本稿では,トランスフォーマーをベースとした言語モデルが,自然言語理解などの知的行動を示す方法について考察する。 埋め込み空間を通した動きとしてフレーミングトランスフォーマーダイナミクスを提案する。
  論文  参考訳（メタデータ） (2023-08-21T17:21:23Z)
• Adapting Language Models to Compress Contexts [71.98287002918941]
  トランスフォーマーベースの言語モデル(LM)は強力で広く適用可能なツールであるが、その有用性は有限コンテキストウィンドウによって制限される。 本稿では,事前学習したLMを,長いコンテキストをコンパクトな要約ベクトルに圧縮可能なAutoCompressorに適応させることを提案する。 最大30,720個のトークンのシーケンスでOPTとLlama-2モデルを微調整し、AutoCompressorが長いコンテキストを使ってパープレキシティを向上できることを示す。
  論文  参考訳（メタデータ） (2023-05-24T06:42:44Z)
• Grounding and Distinguishing Conceptual Vocabulary Through Similarity Learning in Embodied Simulations [4.507860128918788]
  そこで本研究では,具体的シミュレーションによって収集されたエージェント体験を用いて,文脈化された単語ベクトルをオブジェクト表現にグラウンド化する手法を提案する。 類似性学習を用いて、相互作用するオブジェクトの特性に基づいて、異なるオブジェクトタイプの比較を行い、オブジェクトの振る舞いに関連する共通の特徴を抽出する。
  論文  参考訳（メタデータ） (2023-05-23T04:22:00Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• Extracting Latent Steering Vectors from Pretrained Language Models [14.77762401765532]
  本研究では,言語モデルデコーダから直接潜在ベクトルを抽出できることを示す。 実験により、ステアリングベクトルが存在し、それが言語モデルの隠れ状態に追加されると、ほぼ完璧にターゲット文を生成することが示された。 テキスト類似度ベンチマークで評価すると, ステアリングベクトル間の距離が文類似度を反映していることが分かる。
  論文  参考訳（メタデータ） (2022-05-10T19:04:37Z)
• WOVe: Incorporating Word Order in GloVe Word Embeddings [0.0]
  単語をベクトルとして定義することで、機械学習アルゴリズムがテキストを理解し、そこから情報を抽出しやすくなります。 ワードベクトル表現は、単語同義語、単語類似、構文解析など、多くのアプリケーションで使われている。
  論文  参考訳（メタデータ） (2021-05-18T15:28:20Z)
• Visually Grounded Compound PCFGs [65.04669567781634]
  言語理解のための視覚的基盤の爆発は、最近多くの注目を集めている。 本研究では,視覚的な文法誘導について検討し,未ラベルテキストとその視覚的キャプションから選挙区を学習する。
  論文  参考訳（メタデータ） (2020-09-25T19:07:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。