論文の概要: A Negative Result on Cross-Model Activation Transfer in a Pythia Multi-Hop Setting

• arxiv url: http://arxiv.org/abs/2606.03280v1
• Date: Tue, 02 Jun 2026 07:46:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.845867
• Title: A Negative Result on Cross-Model Activation Transfer in a Pythia Multi-Hop Setting
• Title（参考訳）: Pythia Multi-Hop 設定におけるクロスモデル活性化伝達の負の結果
• Authors: Peiyan Zhang,
• Abstract要約: 最近の研究は、学習中に生成されたデータに隠された信号を通して言語モデルが行動特性を伝達できることを示している。 ある言語モデルは、隠れたアクティベーションを翻訳して注入することによって、推論時に有用な中間推論状態を他の言語に伝達できるだろうか? 我々は、制御されたPythia-160MからPythia-410Mのマルチホップ推論設定でこの問題を検証した。
• 参考スコア（独自算出の注目度）: 4.002111807398003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work shows that language models can transmit behavioural traits through hidden signals in generated data during training. We ask whether a more direct and stricter channel is also viable: can one language model communicate useful intermediate reasoning state to another at inference time by translating and injecting hidden activations, rather than by passing natural-language text? We test this question in a controlled Pythia-160M to Pythia-410M multi-hop reasoning setting. A linear translation layer learns a strong normalized-space map between sender and receiver hidden states, with normalized cosine similarity near 0.97 across seeds. However, when the translated activations are injected into the receiver at inference time, they do not improve downstream answering. Low-strength additive injection remains near the no-injection baseline, with confidence intervals that cross zero. Replacement-style injection is consistently destructive, and rescaling translated vectors to the receiver hidden-state norm does not rescue performance. The result is therefore a scoped negative result: in this setting, offline representational alignment is not sufficient for useful causal communication inside the receiver.
• Abstract（参考訳）: 最近の研究は、学習中に生成されたデータに隠された信号を通して言語モデルが行動特性を伝達できることを示している。 ある言語モデルは、自然言語テキストを渡すのではなく、隠れたアクティベーションを翻訳し、注入することによって、推論時に有用な中間推論状態を他の言語モデルに伝達できるのか? 我々は、制御されたPythia-160MからPythia-410Mのマルチホップ推論設定でこの問題を検証した。 線形翻訳層は、送り手と受け手の隠れた状態の間の強い正規化された空間マップを学習し、種子の0.97に近い正規化されたコサイン類似性を持つ。 しかし、翻訳されたアクティベーションが推論時に受信機に注入されると、ダウンストリーム応答は改善されない。 低強度添加注入は、ゼロを横断する信頼区間を持つ無注入ベースラインの近くに残っている。 置換式インジェクションは一貫して破壊的であり、変換されたベクトルをレシーバーの隠れ状態ノルムに再スケーリングしても、性能を救えない。 この設定では、オフラインの表現アライメントは受信機内の有用な因果通信には不十分である。

関連論文リスト

• Direct Semantic Communication Between Large Language Models via Vector Translation [3.81908263930559]
  大規模言語モデル(LLM)は、メッセージをプレーントークンとして渡すことで、最も遅延したセマンティクスを破棄する。 我々は、直接意味交換を可能にする学習されたマッピングを用いて、ベクトル変換を介して潜時ブリッジを形成する。
  論文  参考訳（メタデータ） (2025-11-06T00:43:29Z)
• Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
  モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。 成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。 勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
  論文  参考訳（メタデータ） (2024-10-07T12:01:32Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• CTC-based Non-autoregressive Speech Translation [51.37920141751813]
  非自己回帰音声翻訳における接続性時間分類の可能性について検討する。 我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
  論文  参考訳（メタデータ） (2023-05-27T03:54:09Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Anticipation-free Training for Simultaneous Translation [70.85761141178597]
  同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。 既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。 本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:29:37Z)
• Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables [28.101782382170306]
  従来の訓練対象にピボット言語に基づく自動エンコーダ目標を導入し,ゼロショット方向の翻訳精度を向上させる。 提案手法は, 突発的相関を効果的に排除し, 顕著な性能で最先端の手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-10T07:18:53Z)
• Improving Zero-Shot Cross-Lingual Transfer Learning via Robust Training [45.48003947488825]
  私達は2つの広く利用された強い訓練方法を研究します:反対の訓練およびランダム化された平滑化。 実験の結果,ロバストトレーニングにより,テキスト分類におけるゼロショット言語間転送が改善されることがわかった。
  論文  参考訳（メタデータ） (2021-04-17T21:21:53Z)
• Improving Zero-Shot Translation by Disentangling Positional Information [24.02434897109097]
  言語固有の表現を引き起こす主な要因は、入力トークンに対する位置対応であることを示す。 指示方向の品質を維持しながら、ゼロショット翻訳で最大18.5 BLEUポイントを得る。
  論文  参考訳（メタデータ） (2020-12-30T12:20:41Z)
• Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation [36.4055239280145]
  WMTデータに基づいて学習した多言語EN$leftrightarrow$FR,CS,DE,FIシステムのゼロショット性能について検討した。 ゼロショット翻訳におけるソースのコピーに対するバイアスを観察し、サブワードセグメンテーションの選択がこのバイアスにどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2020-11-03T13:45:54Z)
• Emergent Communication Pretraining for Few-Shot Machine Translation [66.48990742411033]
  我々は、参照ゲームからの創発的コミュニケーションを介してニューラルネットワークを事前訓練する。 私たちの重要な前提は、実世界の環境の粗悪な近似として、画像に基づくコミュニケーションを基盤にすることで、帰納的に自然言語学習のモデルに偏りが生じる、ということです。
  論文  参考訳（メタデータ） (2020-11-02T10:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。