論文の概要: Differential Backpack Language Models: Sense Inhibition via Signed Contextualization Weights
- arxiv url: http://arxiv.org/abs/2611.15642v1
- Date: Wed, 11 Nov 2026 15:54:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.188081
- Title: Differential Backpack Language Models: Sense Inhibition via Signed Contextualization Weights
- Title(参考訳): 差分バックパック言語モデル:符号付き文脈化重みによるセンス阻害
- Abstract要約: 非負性性(non-negativity)は、解釈可能性を持つ線形可読性(lineary readout)と、それを制限する円錐結合(conic combination)の2つの性質を膨らませることを示す。
感覚重みを異なる注意で計算することで後者を緩和し、学習単位の利得を持つ2つのソフトマックスマップの違いを解消し、文脈が感覚を積極的に抑制できる。
- 参考スコア(独自算出の注目度): 20.660050771615357
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Backpack language models predict with a strictly linear combination of non-contextual per-word sense vectors, weighted by non-negative contextualization scores. We show that non-negativity conflates two properties: the linear readout, which carries the interpretability, and the conic combination, which merely restricts it. We relax the latter by computing the sense weights with differential attention, a difference of two softmax maps with a learned per-sense gain, so context can actively inhibit a sense; we call the result a differential Backpack. At equal parameters on WikiText-103 this cuts the Backpack's perplexity gap to a Transformer by 31%, improves over the softmax Backpack at every sense count, persists with a shrinking margin up to 350M parameters on OpenWebText, and is localized at the sense layer by ablations and controls. The learned inhibition is directly interpretable (a financial context drives the river sense of bank to -0.50), and the preserved per-sense attribution predicts counterfactual removals exactly. We tested a number of combination rules, showing the linear interface is nearly free. Making the readout nonlinear gains only 0.43 perplexity points while invalidating two thirds of the decomposition. The differential Backpack's senses are also better representations, improving zero-shot sentence similarity by up to 33%.
- Abstract(参考訳): バックパック言語モデルは、非負の文脈化スコアによって重み付けされた、非コンテキストごとの単語感覚ベクトルの厳密な線形結合で予測する。
非負性性(non-negativity)は、解釈可能性を持つ線形可読性(lineary readout)と、それを制限する円錐結合(conic combination)の2つの性質を膨らませることを示す。
我々は、感覚重みを異なる注意で計算することで後者を緩和し、学習単位の利得を持つ2つのソフトマックスマップの差分を計算し、文脈が感覚を積極的に阻害し、その結果を微分バックパックと呼ぶ。
WikiText-103の同等パラメータでは、BackpackのパープレキシティギャップをTransformerに31%削減し、すべてのセンスカウントにおいてSoftmax Backpackよりも改善し、OpenWebTextで最大350Mパラメータまで縮小し、センスレイヤでアブレーションとコントロールによってローカライズされる。
学習された阻害は直接解釈可能であり(財務状況が川岸感覚を-0.50に駆動する)、保存された意味ごとの帰属は、正当性除去を正確に予測する。
我々は、線形インターフェースがほぼ自由であることを示すいくつかの組み合わせルールをテストした。
読み出し非線形化は、分解の3分の2を無効にしながら、0.43パープレキシティポイントしか得られない。
差分バックパックの感覚も優れた表現であり、ゼロショット文の類似性は最大33%向上した。
関連論文リスト
- Interpretable Cross-Lingual Alignment in Small Language Models: Probing Cultural and Pragmatic Reasoning in Japanese-English Bilingual LLMs [0.0]
表面流速から4つの現象を分離する最小ペアのベンチマークであるJ-PragEval-v0を紹介する。
線形プローブと教師による対数確率評価を組み合わせて、TinySwallow-1.5B内のどのコントラストがライブであるかを問う。
論文 参考訳(メタデータ) (2026-08-14T21:04:21Z) - Beyond Similarity: Grounded Agentic Extraction and Expert-Adjudicated Evaluation of Intertextuality in Classical Chinese Histories [3.694051864521789]
我々は、大言語モデルが2つのテキスト単位をフルに読み込むエージェントタスクとして、きめ細かいテクスチャ間抽出をリキャストする。
3つのドメインの専門家がプールされたマルチモデル候補を2,533対のテキスト間ペアのベンチマークに設定し、Analects と Book of Han を徹底的に比較する手法を検証する。
論文 参考訳(メタデータ) (2026-07-30T02:34:23Z) - Misalignment Has a Personality: A Big Five Account of Emergent Misalignment [2.1117030125341385]
違和感は人格の変化のように振る舞う
我々は、グレード付き3段階の介入を用いて、ビッグファイブの個性ベクトルを抽出する。
校正された人格ベクトルは、不透明な安全現象を人間に適応可能な診断プロファイルに変換する。
論文 参考訳(メタデータ) (2026-07-29T01:48:03Z) - Not All Synthetic Data Is Yours to Learn From [68.13136636413601]
弱い自己学習は、事前訓練モデルにすでに存在する能力を増幅できることを示す。
我々はこれを、プロンプトフリーな無条件自己学習の最小設定で研究する。
論文 参考訳(メタデータ) (2026-05-29T10:34:11Z) - Improving MoE Compute Efficiency by Composing Weight and Data Sparsity [50.654297246411545]
Mixture-of-Experts 層は重量空間によって計算効率を向上する。
各専門家がトークンのサブセットだけを処理するようなデータスパシティは、補完的な軸を提供する。
論文 参考訳(メタデータ) (2026-01-21T18:53:58Z) - Feedback Descent: Open-Ended Text Optimization via Pairwise Comparison [48.89195616081196]
Feedback Descentは、構造化されたテキストフィードバックを通じてテキストアーティファクト(プロンプト、コード、分子)を最適化するフレームワークである。
テキスト内学習は、構造化されたフィードバックを勾配のような方向情報に変換し、ターゲットとなる編集を可能にする。
DOCKSTRINGの分子探索ベンチマークにおいて、Feedback Descentは6つのタンパク質標的に対して260,000ドル以上の化合物を持つデータベースの99.9ドルのパーセンタイルを超える新規な薬物様分子を同定した。
論文 参考訳(メタデータ) (2025-11-11T07:14:13Z) - Text Attribute Control via Closed-Loop Disentanglement [72.2786244367634]
本稿では,コンテンツ保存性を高めつつ,属性のロバストな制御を実現するための新しい手法を提案する。
本稿では,半教師付きコントラスト学習法を用いて,潜在空間における属性のアンタングル化を促進する。
Yelp Serviceレビューデータセット、Amazon Product Reviewデータセット、GoEmotionsデータセットを含む3つのテキストデータセットの実験を行った。
論文 参考訳(メタデータ) (2023-12-01T01:26:38Z) - Backpack Language Models [108.65930795825416]
Backpacksは、強力なモデリング性能と、解釈可能性と制御のためのインターフェースを組み合わせた、新しいニューラルアーキテクチャである。
学習のあと、感覚ベクトルが特殊化され、それぞれが単語の異なる側面を符号化することがわかった。
本稿では,感覚ベクトルに介入し,制御可能なテキスト生成とデバイアスを行うシンプルなアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-05-26T09:26:23Z) - Between Stochastic and Adversarial Online Convex Optimization: Improved
Regret Bounds via Smoothness [2.628557920905129]
我々は,オンライン凸最適化において,対人的損失と完全対人的損失を補間する新たな後悔境界を確立する。
この目的を達成するために、損失系列に関連する2つの重要な量を導入し、累積分散と対角変動と呼ぶ。
完全な i.d. の場合、我々の境界は加速の結果から期待される速度と一致し、完全に反対の場合、ミニマックスの後悔と一致するように優雅に劣化する。
論文 参考訳(メタデータ) (2022-02-15T16:39:33Z) - RatE: Relation-Adaptive Translating Embedding for Knowledge Graph
Completion [51.64061146389754]
複素空間における新たな重み付き積の上に構築された関係適応変換関数を提案する。
次に、関係適応型翻訳埋め込み(RatE)アプローチを示し、各グラフを3倍にスコアする。
論文 参考訳(メタデータ) (2020-10-10T01:30:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。