論文の概要: "As a Language Model...": Chat Template Switches LLM Self-Referential Voice and Activation Steering Reproduces It

• arxiv url: http://arxiv.org/abs/2609.25021v1
• Date: Sun, 09 Aug 2026 18:38:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.835331
• Title: "As a Language Model...": Chat Template Switches LLM Self-Referential Voice and Activation Steering Reproduces It
• Title（参考訳）: 「言語モデルとして...」:チャットテンプレートがLDMの自己参照音声を切り替え、アクティベーションステアリングが再現する
• Abstract要約: 大規模言語モデル(LLMs)は、自分自身に関連するものについて尋ねるときに、"私は単なるAI"のような断言者を追加する傾向があります。 モデルは自分たちのことを教えてくれるのか、あるいはどのようにデプロイされるのか? モデルは自分たちのことを教えてくれるのか、あるいはどのようにデプロイされるのか?
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) tend to add disclaimers like "I'm just an AI" when asked about something related to themselves. The self-reports from such responses are used in debates about AI safety or self-knowledge of the models, yet what drives them is not well understood. Are the models telling us about themselves or rather how they are deployed? In this work, we show that the chat template works like a switch - when present, it turns this disclaimer voice up and experiential voice like "I feel" down, across 8 popular open-source instruct models up to 9B parameters in size. And conversely when the chat template is not present, it turns the disclaimer voice down and experiential voice up. Inside the activations of 3 models, we find a direction that steers this behavior. Removing the direction in the model's activation space turns disclaimer voice down and adding it turns it up, while a random direction of the same size has little effect. We find that instruct models without chat template, when we add the disclaimer direction to them, disclaim like the template was there. Since the chat template controls the disclaimer voice of LLMs, then researchers studying self-reports or introspection of models might have a confound they need to control for. Our results show that there is a direction they can use to steer this voice. More broadly, our work shows that what models say about themselves is not a fact about them. What they say doesn't come only from weights, but it is partially set by the chat template, and because of that a model's self-description shouldn't be treated literally.
• Abstract（参考訳）: 大規模言語モデル(LLMs)は、自分自身に関連するものについて尋ねるときに、"私は単なるAI"のような断言者を追加する傾向があります。 このような反応からの自己報告は、AIの安全性やモデルの自己認識に関する議論で使用されているが、それらを推進するものはよく理解されていない。 モデルは自分たちのことを教えてくれるのか、あるいはどのようにデプロイされるのか? この研究では、チャットテンプレートがスイッチのように機能していることを示します。現在、9Bパラメータまでの8つの人気のあるオープンソースインストラクションモデルに対して、この不明確な声と、"I feel"のような経験的な声を下げます。 逆に、チャットテンプレートがないときは、使い捨ての音声を消し、経験的な音声をアップする。 3つのモデルのアクティベートの中で、私たちはこの振る舞いを操縦する方向を見つけます。 モデルのアクティベーション空間の方向を除去すると、消音器の音声を消し、それをオンにして追加するが、同じ大きさのランダムな方向は効果がほとんどない。 チャットテンプレートを使わずにインストラクタモデルにディスラプタの方向を追加すると、テンプレートがそこにあったようにデストラクタが無効になる。 チャットテンプレートがLLMのディファイラ音声を制御するので、自己報告やモデルのイントロスペクションを研究する研究者は、制御する必要がある欠点があるかもしれない。 以上の結果から,この音声を操作できる方向が示唆された。 より広範に、我々の研究は、モデルが自身について何を言っているかは、それらについて事実ではないことを示している。 彼らが言っているのは重みだけではありませんが、部分的にはチャットテンプレートによって設定されています。

関連論文リスト

• BatonVoice: An Operationalist Framework for Enhancing Controllable Speech Synthesis with Linguistic Intelligence from LLMs [84.59993864748195]
  音声生成から命令理解を分離する「操作主義」に着想を得た新しいパラダイムを提案する。 本稿では,LLMが導体として機能するフレームワークであるBatonVoiceを紹介し,ユーザの指示を理解する。 別個のTSモデルである「オーケストラ」は、これらの特徴から音声を生成する。
  論文  参考訳（メタデータ） (2025-09-30T16:52:14Z)
• Inspection and Control of Self-Generated-Text Recognition Ability in Llama3-8b-Instruct [0.0]
  Llama3-8b-Instruct のチャットモデルでは,その出力を人間のものと確実に区別できることがわかった。 モデルが正しい自己書式認識判定を行うとき, モデル残ストリーム内のベクトルを差動活性化する。 ベクトルはモデルの振る舞いと知覚の両方を制御できることを示す。
  論文  参考訳（メタデータ） (2024-10-02T22:26:21Z)
• The False Promise of Imitating Proprietary LLMs [158.65692029352584]
  より弱い言語モデルを安価に改善するための新しい方法は、より強力なモデルからの出力に対してそれを微調整することである。 このアプローチは、より弱いオープンソースモデルを使用して、プロプライエタリなモデルの機能を安価に模倣することを目指している。 まず、様々なベースモデルサイズを用いてChatGPTを模倣する一連のLMを微調整する。 次に、群衆レーダと標準NLPベンチマークを用いてモデルを評価する。
  論文  参考訳（メタデータ） (2023-05-25T05:00:12Z)
• The System Model and the User Model: Exploring AI Dashboard Design [79.81291473899591]
  高度なAIシステムは、他の複雑なデバイスと同じようにダッシュボードを持つべきだ、と私たちは主張する。 多くのシステムにおいて、最も重要な2つのモデルはユーザーとシステム自体のものであると推測する。 これら2つのモデルを識別し、解釈し、表示する方法を見つけることは、AIのためのインターフェース研究のコア部分であるべきです。
  論文  参考訳（メタデータ） (2023-05-04T00:22:49Z)
• Better Question-Answering Models on a Budget [0.0]
  我々は、Stanford Alpacaデータセットを使用して、FacebookのOPT 1.3B、2.7B、6.7Bモデルの能力を大幅に改善したLoRAモデルのファミリーであるEluwaを紹介する。 ここでは、より小さなモデルを3倍のサイズのモデルとして微調整できることを示す。
  論文  参考訳（メタデータ） (2023-04-24T18:06:27Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Model Extraction Attack against Self-supervised Speech Models [52.81330435990717]
  自己教師付き学習(SSL)音声モデルは、与えられたクリップの有意義な表現を生成する。 モデル抽出攻撃 (MEA) は、しばしば、クエリアクセスのみで被害者モデルの機能を盗む敵を指す。 本稿では,少数のクエリを用いたSSL音声モデルに対するMEA問題について検討する。
  論文  参考訳（メタデータ） (2022-11-29T09:28:05Z)
• Language Models Understand Us, Poorly [0.0]
  人間の言語理解に関する3つの見解を考察する。 行動の信頼性は理解に必要だが、内部表現は十分である、と私は論じる。 モデル内部を調査し、人間の言語をさらに追加し、モデルが学べるものを計測する作業が必要です。
  論文  参考訳（メタデータ） (2022-10-19T15:58:59Z)
• Do self-supervised speech models develop human-like perception biases? [11.646802225841153]
  本稿では,3種類の最先端自己教師型モデル(wav2vec 2.0, HuBERT, CPC)の表現空間について検討する。 CPCモデルは母国語の影響が小さいことを示すが、wav2vec 2.0とHuBERTは言語固有のものではない普遍的な音声認識空間を発達させている。 教師付き電話認識装置の予測との比較では、教師付き3つのモデルが比較的きめ細かい知覚現象を捉えているのに対し、教師付きモデルは聞き手の母国語が知覚に与える影響を捉えるのに優れていることが示唆されている。
  論文  参考訳（メタデータ） (2022-05-31T14:21:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。