論文の概要: Reading Why: Born-Measured Attention with Exact Word Evidence on Light and Qubits
- arxiv url: http://arxiv.org/abs/2611.05355v2
- Date: Wed, 04 Nov 2026 16:21:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.799882
- Title: Reading Why: Born-Measured Attention with Exact Word Evidence on Light and Qubits
- Title（参考訳）: 読み書き:光とビットの言葉の明快さによる生まれつきの注意力
- Abstract要約: その証拠を削除すれば、まず答えはテストペアの45%で変わります。
IBMのibm_kingstonでは、アダマールテストで重なる注意のみを読んで、このデバイスは、単語が削除されたときにも、そのモデルの答えを与えた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a language model answers, we can usually only estimate why. We build a transformer in which every step is a Born measurement - attention $|\langle q|k\rangle|^4$ normalised over each row, a measured product in place of the feed-forward nonlinearity, and a Born readout. With its denominators held at their values for the input, each class probability is a polynomial in the word amplitudes, so its integrated-gradient evidence is computed by a finite quadrature with no quadrature error: the words' contributions sum to the class probability above its no-information share, to $10^{-11}$ or better. On e-SNLI natural language inference, with about 98k parameters outside the embedding, the model reaches $76.98 \pm 0.17$% test accuracy, level with a softmax transformer of the same size ($76.62 \pm 0.36$%). Deleting the word its evidence ranks first changes the answer in 45% of test pairs, out of the 53% any single deletion can change, against 32% for the softmax model explained the same way and 40% by its attention x gradient. Attention can look as much like the words annotators highlighted as the evidence does, yet accounts for the answer less well: deleting the word it ranks first changes the Born Transformer's answer in 32% of pairs. The same weights compile exactly to optoelectronic optics and to qubits, and a coherent attention layer becomes one circuit equal to the model (852 CNOTs on 23 qubits). On IBM's ibm_kingston, reading only the attention overlaps by Hadamard tests, the device gave the model's answers, also when a word was deleted. With calibration circuits as deep as the overlaps, each word's evidence with the device's attention row sums followed the exact evidence (correlations 0.997 and 0.932 on two pairs chosen in advance); where a pair's evidence is a small total of large opposite terms the earlier runs say it does not, and we say why.
- Abstract（参考訳）: 言語モデルが答える場合、通常は理由のみを見積もることができます。
我々は、すべてのステップがボルン測度である変換器を構築する。注意$|\langle q|k\rangle|^4$ 各行上で正規化され、フィードフォワード非線形性の代わりに測定された積、ボルン読み出しである。
それぞれのクラス確率は入力の値に保持され、各クラス確率は単語振幅の多項式であるので、その統合段階的な証拠は2次誤差のない有限次数で計算される: 単語の寄与はその非情報共有以上のクラス確率への合計は10^{-11}$以上である。
e-SNLIの自然言語推論では、埋め込みの外側に約98kのパラメータがあり、同じサイズのソフトマックストランスフォーマー(76.62 \pm 0.36$%)で、テスト精度は76.98 \pm 0.17$%に達する。
一つの削除で変更できる53%のうち32%がソフトマックスモデルで同じ方法で説明され、40%が注意x勾配で説明されている。
注意はエビデンスと同じくらい強調された単語に似ていますが、答えはそれほど良くありません。最初にランク付けされた単語を削除すると、32%のペアでボルントランスフォーマーの回答が変わります。
同じ重みは光電子光学や量子ビットに正確にコンパイルされ、コヒーレントアテンション層はモデルに等しい1つの回路(23量子ビット上の852 CNOT)となる。
IBMのibm_kingstonでは、アダマールテストで重なる注意のみを読んで、このデバイスは、単語が削除されたときにも、そのモデルの答えを与えた。
重なり合うほど深い校正回路では、各単語のエビデンスと装置のアテンション列の合計は、正確なエビデンス(予め選択された2つのペアの相関 0.997 と 0.932 )に従っている。
関連論文リスト
- VERS: Steering Reasoning Models by Editing Their Activation Explanations [0.0]
説明を編集すれば 一つのトークンでモデルを操れる
私たちはVERS(Verbalize, Edit, Reconstruct, Steer)を構築します。
1つの推論の疑わしい点における説明の編集を1つの固定方向に変え、段落時にこの方向を追加する。
論文 参考訳（メタデータ） (2026-11-02T12:39:13Z) - Can Language Models Learn While They Think? Testing Gradient Adaptation Across Architectures [0.0]
動的評価(Dynamic Evaluation)として知られる、読み上げているテキストのグラデーションステップを言語モデルにとらせれば、その損失は減少する。
本稿では,ハイブリッドリニアアテンションアーキテクチャ,拡散言語モデル,標準長文ベンチマークの更新について検討する。
論文 参考訳（メタデータ） (2026-10-10T17:32:08Z) - QEMScore: How Much Does the Measurement Add to Learned Quantum Error Mitigation? [23.55753073065416]
精度表は、手渡された回路構造が、測定を全く読まずによく得点できるので、言い切れない。
QEMScoreは、可能な比較を追加する。
学習したミチゲータは、同じ回路記述を読み込むが測定をしないモデルであるキャパシティマッチング制御の横にスコアされる。
論文 参考訳（メタデータ） (2026-09-15T22:39:09Z) - Ockhamareto: Pareto-Gated Segment-Level Credit Assignment for Concise Unit-Test Generation with Reinforcement Learning [64.49364696628294]
我々は単発のGRPOフレームワークであるtextbfOckhamaretoを紹介した。
Ockhamaretoには2つの主要なコンポーネントがある: (i)emphPareto-gated Bonusは、(mutation, $-$#tests)スペースで非支配的なロールアウトのみを報酬する。
論文 参考訳（メタデータ） (2026-08-25T12:20:02Z) - Kathleen Writes: Autoregressive Generation and Data Scaling Without Attention [0.0]
我々は, 事前学習をせずに, 450-700Kパラメータの分類に基づく強いベースラインと, バイトレベルのアテンションフリーアーキテクチャを一致させることができることを示した。
我々は「テキストのように読む」ための非パラメトリックなゲーム抵抗楽器FORM DISTANCEを紹介する。
また,4つのアーキテクチャ追加が役に立たないことを報告し,その5分の1のパラメータで,学習テーブルのトップ1の精度の94%に達する計算辞書を作成した。
論文 参考訳（メタデータ） (2026-08-05T10:44:26Z) - Myovox: Reading Speech from the Muscles of the Face [0.0]
ミオボックスは、発声時の顔の筋肉から記録された31チャンネル表面筋電図(sEMG)から英語のオープン語彙をデコードする。
51.17%のワードエラー率から18.53%までの1つのサブジェクト Emg2speech General Corpus を3つの分離可能な動作で分離して測定する。
論文 参考訳（メタデータ） (2026-07-15T17:00:41Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。
これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
論文 参考訳（メタデータ） (2026-05-09T22:27:31Z) - Learning to Recall with Transformers Beyond Orthogonal Embeddings [42.18876773867171]
簡単なトークン検索タスクにおいて,勾配降下法で学習したランダム埋め込みを用いた変圧器を解析する。
我々の分析は、勾配降下の初期段階'を追跡分析し、モデル記憶容量の明示的な公式を導出する。
論文 参考訳（メタデータ） (2026-03-16T21:17:01Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳（メタデータ） (2025-10-02T02:14:33Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。