Fugu-MT 論文翻訳(概要): Discovering Variable Binding Circuitry with Desiderata

論文の概要: Discovering Variable Binding Circuitry with Desiderata

arxiv url: http://arxiv.org/abs/2307.03637v1
Date: Fri, 7 Jul 2023 14:51:30 GMT
ステータス: 処理完了
システム内更新日: 2023-07-10 12:09:44.752963
Title: Discovering Variable Binding Circuitry with Desiderata
Title（参考訳）: デシデラタを用いた可変結合回路の発見
Authors: Xander Davies, Max Nadeau, Nikhil Prakash, Tamar Rott Shaham, David Bau
Abstract要約: 本研究では,特定のサブタスクの実行に責任のあるモデルコンポーネントを自動的に識別するために,因果媒介実験を拡張したアプローチを提案する。概念実証として,LLaMA-13Bにおける共有テキスト可変結合回路の自動検出に本手法を適用した。
参考スコア（独自算出の注目度）: 10.613898735554374
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent work has shown that computation in language models may be human-understandable, with successful efforts to localize and intervene on both single-unit features and input-output circuits. Here, we introduce an approach which extends causal mediation experiments to automatically identify model components responsible for performing a specific subtask by solely specifying a set of \textit{desiderata}, or causal attributes of the model components executing that subtask. As a proof of concept, we apply our method to automatically discover shared \textit{variable binding circuitry} in LLaMA-13B, which retrieves variable values for multiple arithmetic tasks. Our method successfully localizes variable binding to only 9 attention heads (of the 1.6k) and one MLP in the final token's residual stream.
Abstract（参考訳）: 近年の研究では、言語モデルの計算は人間に理解可能であり、シングルユニット機能と入出力回路の両方にローカライズし、介入することに成功した。本稿では,そのサブタスクを実行するモデルコンポーネントの因果属性を単に指定することで,特定のサブタスクを実行するモデルコンポーネントを自動的に識別する因果仲介実験を拡張するアプローチを提案する。概念実証として,LLaMA-13Bにおける共有 \textit{variable binding circuitry} を自動検出し,複数の演算タスクの変数値を検索する手法を提案する。本手法は,9つのアテンションヘッド (1.6k) と1つのMLPへの可変結合を最終トークン残差ストリームに局在させる。

関連論文リスト

Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
論文参考訳（メタデータ） (2024-10-09T22:53:48Z)
Composable Part-Based Manipulation [61.48634521323737]
本稿では,ロボット操作スキルの学習と一般化を改善するために,構成可能な部品ベース操作(CPM)を提案する。 CPMは構成可能な拡散モデルの集合で構成され、各モデルは異なるオブジェクト間の対応をキャプチャする。シミュレーションおよび実世界のシナリオにおいて、我々のアプローチを検証し、ロバストかつ一般化された操作能力を達成する上での有効性を実証する。
論文参考訳（メタデータ） (2024-05-09T16:04:14Z)
Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
論文参考訳（メタデータ） (2024-02-01T08:58:57Z)
In-Context Learning for MIMO Equalization Using Transformer-Based Sequence Models [44.161789477821536]
大規模な事前学習シーケンスモデルには、コンテキスト内学習(ICL)を実行する能力がある ICLでは、新しい入力に関する決定は、入力の直接マッピングと与えられたタスクからのいくつかの例を通して行われる。我々は,変圧器をベースとしたICLのしきい値挙動を数値計算により示す。
論文参考訳（メタデータ） (2023-11-10T15:09:04Z)
Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文参考訳（メタデータ） (2022-10-06T00:33:01Z)
TOKEN is a MASK: Few-shot Named Entity Recognition with Pre-trained Language Models [19.26653302753129]
名前付きエンティティ認識(NER)の文脈におけるドメイン適応のための新しい数ショットアプローチを提案する。本稿では,変数ベースモジュールとテンプレートモジュールからなる2段階のアプローチを提案する。このアプローチは単純だが汎用的であり、少数ショットやゼロショットの設定に適用できる。
論文参考訳（メタデータ） (2022-06-15T22:49:14Z)
Spacing Loss for Discovering Novel Categories [72.52222295216062]
新たなクラスディスカバリ(NCD)は、マシンラーニングモデルがラベルのないデータからインスタンスを意味的にグループ化する、学習パラダイムである。まず,ラベル付きデータとラベルなしデータを併用する必要があるかどうかに基づいて,既存のNCD手法を1段階および2段階の手法に特徴付ける。多次元スケーリングのキューを用いて、潜在空間における分離性を強制する単純で強力な損失関数を考案する。
論文参考訳（メタデータ） (2022-04-22T09:37:11Z)
SOInter: A Novel Deep Energy Based Interpretation Method for Explaining Structured Output Models [6.752231769293388]
本稿では,構造化出力モデルの振る舞いを説明する新しい解釈手法を提案する。出力の1つを対象とし、入力空間の各局所性における目標を決定するために構造化モデルが利用する最も重要な特徴を見つけ出そうとする。
論文参考訳（メタデータ） (2022-02-20T21:57:07Z)
Do Transformers use variable binding? [14.222494511474103]
ディープニューラルネットワーク(DNN)の説明可能性を高めるには、シンボリック計算を実装するかどうかを評価する必要がある。 1つの中心的なシンボル容量は変数バインディングであり、入力値をシステム内部メモリに保持されている抽象変数にリンクする。本稿では,最先端トランスフォーマーネットワークBERTとRoBERTaの可変結合容量を初めて体系的に評価する。
論文参考訳（メタデータ） (2022-02-19T09:56:38Z)
RETRONLU: Retrieval Augmented Task-Oriented Semantic Parsing [11.157958012672202]
マルチドメインタスク指向のセマンティックパーシングの問題に対して,検索に基づくモデリングのアイデアを適用している。我々のアプローチであるRetroNLUは、シーケンス・ツー・シーケンス・モデルアーキテクチャを検索コンポーネントで拡張する。近隣の検索コンポーネントの品質、モデルの感度を分析し、発話の複雑さの異なる意味解析の性能を分解する。
論文参考訳（メタデータ） (2021-09-21T19:30:30Z)
Few-shot Sequence Learning with Transformers [79.87875859408955]
少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-12-17T12:30:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。