論文の概要: Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise

• arxiv url: http://arxiv.org/abs/2609.07139v1
• Date: Mon, 07 Sep 2026 07:41:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.379291
• Title: Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise
• Title（参考訳）: エンコードされたトランスフォーマーがパートナーの専門知識で行動する場所
• Abstract要約: 変換器は、その特性がまだ出力に影響を与えていない深さで、その残流に線形にデオード可能となることを示す。 我々は、モデルが会話を通して徐々に推論しなければならない属性、すなわち対話相手がどれほど専門家であるかについても、その属性が保持されているかどうかを問う。
• 参考スコア（独自算出の注目度）: 5.269026412088572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A transformer can make an attribute linearly decodable in its residual stream at a depth where that attribute does not yet influence the output. This gap between where information is readable and where it is used has been shown for attributes stated directly in the input. We ask whether it also holds for an attribute the model must infer gradually over a conversation, namely how expert its dialogue partner is. Using ExpertCollab, a corpus of multi-turn research-planning dialogues between model-played personas at four expertise levels, we find that partner expertise is most decodable in the early layers and falls to near chance before the midpoint of the network. Counterfactual patching shows that injecting the expertise difference at the layer of peak decodability barely changes a fixed late-layer readout, whereas the same difference injected past the midpoint propagates almost completely, a separation of more than an order of magnitude. A content-matched random control and a probe-free diagnostic place the transition at the same early layer, and a statically specified control attribute stays decodable throughout. An inferred relational attribute is therefore represented well before it becomes causally active, which bounds where any attempt to read out or steer partner-conditioned behavior must intervene. We use one model on a synthetic corpus as an initial demonstration.
• Abstract（参考訳）: 変圧器は、その属性が出力にまだ影響を与えていない深さで、残ストリームにおいて、その属性を線形に復調可能にすることができる。 情報を読みやすい場所と使用する場所の間のこのギャップは、入力に直接記述される属性に対して示されています。 我々は、モデルが会話を通して徐々に推論しなければならない属性、すなわち対話相手がどれほど専門家であるかについても、その属性が保持されているかどうかを問う。 ExpertCollabは、モデルプレイされたペルソナ間の4つの専門レベルにおけるマルチターンリサーチプランニング対話のコーパスである。 対物パッチングは、ピークの陰極性層に専門的差異を注入すると、固定された後期層読み出しがほとんど変化しないことを示し、一方、中間点から注入された同じ差異は、ほぼ完全に伝播し、1桁以上の分離が進行することを示している。 コンテンツマッチングされたランダム制御とプローブフリー診断は、遷移を同じ初期層に配置し、静的に指定された制御属性は、その間、デオード可能である。 したがって、推論されたリレーショナル属性は、因果的にアクティブになる前にうまく表現される。 合成コーパスに1つのモデルを用いて実験を行った。

関連論文リスト

• Bypass Observation: A Conceptual Design of a Non-Intrusive Layer-Wise Semantic Extraction Architecture [2.8943395720203386]
  Bypass Observationは、非侵襲的な層単位の読み出しアーキテクチャである。 V/(12d) に支配される閉形式オーバーヘッド近似を導出する。 Bypass Observationは、隠された状態の部分的、潜在的に誤解を招く可能性のあるプロジェクションを保ちながら、モデルイテレーションをより観測可能にすることができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2026-09-12T08:35:45Z)
• Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition [0.9297355862757838]
  PRISM-AHはA/Hを時間とともに展開するマルチモーダルコンフリクトとして扱うフレームワークである。 知識誘導型大規模言語モデルは、データセットの専門的な分類法を用いて、構造化された証拠を理由づける。 525ビデオのラベル付き公開テストパーティションでは、PRISM-AHは0.2827のゼロショットベースラインと比較して0.6133のマクロF1を達成する。
  論文  参考訳（メタデータ） (2026-07-28T16:44:38Z)
• Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering [87.43777061308658]
  フル音声言語モデル(FDSLM)における予測行動の解析 FDSLMは、モデル出力生成に整合した生成状態と、ユーザ入力に整合した知覚状態の2つの状態間の内部焦点を動的に変調する。 ユーザ中断中は、モデルが知覚状態に遷移する前に生成状態に対して過渡的に偏りを保ち、入力の開始を逃す。
  論文  参考訳（メタデータ） (2026-06-09T19:08:07Z)
• Back to Source: Open-Set Continual Test-Time Adaptation via Domain Compensation [18.70132691409063]
  Test-Time Adaptationは、推論時間におけるトレーニングとテストドメイン間の分散シフトを軽減することを目的としている。 ドメインとセマンティックシフトの結合は、しばしば特徴空間を崩壊させ、分類とアウト・オブ・ディストリビューションの検出の両方を著しく劣化させる。 ドメイン適応とOOD検出を相乗的で閉ループで堅牢に行う軽量かつ効果的なフレームワークであるDOCOを提案する。
  論文  参考訳（メタデータ） (2026-04-23T15:29:29Z)
• Early stopping by correlating online indicators in neural networks [0.24578723416255746]
  本稿では,学習者の学習において過度に適合する現象を識別する新しい手法を提案する。 提案手法は,オンライン指標の収集における時間的相関を利用したものである。 一つの基準に焦点をあてた従来のアプローチとは対照的に、独立性評価の助成を生かしている。
  論文  参考訳（メタデータ） (2024-02-04T14:57:20Z)
• Exploring Diffusion Time-steps for Unsupervised Representation Learning [72.43246871893936]
  拡散時間ステップと隠れ属性を結合する理論的枠組みを構築する。 CelebA、FFHQ、Bedroomのデータセットでは、学習された機能は分類を大幅に改善する。
  論文  参考訳（メタデータ） (2024-01-21T08:35:25Z)
• Don't Miss Out on Novelty: Importance of Novel Features for Deep Anomaly Detection [64.21963650519312]
  異常検出(AD)は、正規性の学習モデルに適合しない観察を識別する重要なタスクである。 本稿では, 入力空間における説明不能な観測として, 説明可能性を用いた新しいAD手法を提案する。 当社のアプローチでは,複数のベンチマークにまたがる新たな最先端性を確立し,さまざまな異常な型を扱う。
  論文  参考訳（メタデータ） (2023-10-01T21:24:05Z)
• Context-aware attention layers coupled with optimal transport domain adaptation and multimodal fusion methods for recognizing dementia from spontaneous speech [0.0]
  アルツハイマー病(英語: Alzheimer's disease、AD)は、認知症の主要な原因である複雑な神経認知疾患である。 そこで本研究では,AD患者検出のための新しい手法を提案する。 ADReSSとADReSSo Challengeで実施した実験は、既存の研究イニシアチブに対して導入したアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-25T18:18:09Z)
• Causal Effect Estimation with Variational AutoEncoder and the Front Door Criterion [23.20371860838245]
  フロントドア基準は、データからフロントドア調整に使用される変数の集合を特定することがしばしば困難である。 表現学習における深層生成モデルの能力を活用して、変分オートエンコーダを用いたフロントドア調整セットの表現を学習するためのFDVAEを提案する。
  論文  参考訳（メタデータ） (2023-04-24T10:04:28Z)
• DOAD: Decoupled One Stage Action Detection Network [77.14883592642782]
  人々をローカライズし、ビデオからアクションを認識することは、ハイレベルなビデオ理解にとって難しい課題だ。 既存の手法は主に2段階ベースで、1段階は人物境界ボックス生成、もう1段階は行動認識を行う。 本稿では、時間的行動検出の効率を向上させるために、DOADと呼ばれる分離したワンステージネットワークを提案する。
  論文  参考訳（メタデータ） (2023-04-01T08:06:43Z)
• Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction [52.63663547523033]
  マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。 異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
  論文  参考訳（メタデータ） (2023-02-13T18:42:17Z)
• Is Disentanglement enough? On Latent Representations for Controllable Music Generation [78.8942067357231]
  強い生成デコーダが存在しない場合、アンタングル化は必ずしも制御性を意味するものではない。 VAEデコーダに対する潜伏空間の構造は、異なる属性を操作するための生成モデルの能力を高める上で重要な役割を果たす。
  論文  参考訳（メタデータ） (2021-08-01T18:37:43Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。