論文の概要: Instructions Shape Production of Language, not Processing

• arxiv url: http://arxiv.org/abs/2605.11206v2
• Date: Wed, 13 May 2026 08:57:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 17:13:58.875346
• Title: Instructions Shape Production of Language, not Processing
• Title（参考訳）: プロセッシングではなく, 言語の形状生成を指示する
• Authors: Andreas Waldis, Leshem Choshen, Yufang Hou, Yotam Perlitz,
• Abstract要約: インストラクションは、言語モデルで生産中心のメカニズムをトリガーする。 本稿では,このメカニズムを2段階間の非対称性として,タスク固有情報を階層的に探索することによって明らかにする。 本研究は,モデル能力の理解には内部と行動の協調的評価が必要であることを示唆する。
• 参考スコア（独自算出の注目度）: 26.122385256608208
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Instructions trigger a production-centered mechanism in language models. Through a cognitively inspired lens that separates language processing and production, we reveal this mechanism as an asymmetry between the two stages by probing task-specific information layer-wise across five binary judgment tasks. Specifically, we measure how instruction tokens shape information both when sample tokens, the input under evaluation, are processed and when output tokens are produced. Across prompting variations, task-specific information in sample tokens remains largely stable and correlates only weakly with behavior, whereas the same information in output tokens varies substantially and correlates strongly with behavior. Attention-based interventions confirm this pattern causally: blocking instruction flow to all subsequent tokens reduces both behavior and information in output tokens, whereas blocking it only to sample tokens has minimal effect on either. The asymmetry generalizes across model families and tasks, and becomes sharper with model scale and instruction-tuning, both of which disproportionately affect the production stage. Our findings suggest that understanding model capabilities requires jointly assessing internals and behavior, while decomposing the internal perspective by token position to distinguish the processing of input tokens from the production of output tokens.
• Abstract（参考訳）: インストラクションは、言語モデルで生産中心のメカニズムをトリガーする。 言語処理と生産を分離する認知的にインスピレーションを受けたレンズを通して、このメカニズムを5つの二項判定タスクにまたがるタスク固有の情報層を探索することにより、2段階間の非対称性として明らかにする。 具体的には、サンプルトークンや評価対象の入力が処理され、出力トークンが生成される場合にも、命令トークンがどのように情報を形成するかを測定する。 急激な変化の中で、サンプルトークンにおけるタスク固有の情報は概ね安定しており、行動と弱い相関しか持たないが、出力トークンにおける同じ情報は著しく変化し、行動と強く相関している。 すべてのトークンに対する命令フローのブロックは、出力トークンの振る舞いと情報の両方を減らします。 非対称性はモデルファミリやタスクにまたがって一般化され、モデルスケールと命令チューニングによってより鋭くなり、どちらも生産段階に不均等に影響を及ぼす。 本研究は,入力トークンの処理と出力トークンの生成を区別するために,内部視点をトークン位置で分解すると同時に,内部視点と動作を共同で評価する必要があることを示唆する。

関連論文リスト

• Decomposing Reasoning Efficiency in Large Language Models [2.4149105714758545]
  我々はトークン効率を、固定されたトークン予算の下での完了、与えられた完了条件の正確性、冗長性といった、解釈可能な要因に分解する。 推論トレースが利用可能であれば、冗長だが拡張された推論からループを分離するために決定論的トレース品質尺度を追加します。 我々の分解は、異なる効率の介入を示唆する異なるボトルネックプロファイルを明らかにします。
  論文  参考訳（メタデータ） (2026-02-10T14:09:18Z)
• How Different Tokenization Algorithms Impact LLMs and Transformer Models for Binary Code Analysis [0.0]
  その重要性にもかかわらず、アセンブリコードのコンテキストにおけるトークン化は未探索領域のままである。 我々は、アセンブリコードのユニークな特徴に合わせて、プリプロセスのカスタマイズオプションとプリトークン化ルールについて検討する。 我々は,トークン化効率,語彙圧縮,組立符号の表現忠実度に基づくトークン化器の比較を行った。
  論文  参考訳（メタデータ） (2025-11-05T19:45:26Z)
• LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers [53.43862310647276]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れるが、事実の誤りに弱いままである。 本稿では,トークン型と最も影響力のあるトランスフォーマー層を整合させて実データ生成を改善する,トークン認識型コントラストデコーディング手法を提案する。 提案手法は追加のトレーニングやモデル修正を必要とせず,複数のLSMおよび各種ベンチマークの事実性を常に改善することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-06T14:35:43Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• What's the Difference? Supporting Users in Identifying the Effects of Prompt and Model Changes Through Token Patterns [28.945432533898444]
  Spotlightは、自動化と人間の分析を組み合わせた新しいアプローチだ。 データマイニング技術に基づいて、ランダムな(復号化)バリエーションと言語モデル出力の体系的な違いを自動的に区別する。 トークンパターンのアプローチは,言語モデル出力の体系的差異を理解する上で有効であることを示す。
  論文  参考訳（メタデータ） (2025-04-22T11:53:33Z)
• Disentangling Reasoning Tokens and Boilerplate Tokens For Language Model Fine-tuning [46.43130011147807]
  特に、トークンとボイラープレートトークンの推論は、重要性と学習の複雑さにおいて大きく異なります。 本稿では,適応トークン識別のための新しいShuffle-Aware Discriminator (SHAD)を提案する。 SHADを用いて、微調整中の推論トークンを適応的に強調するReasoning-Highlighted Fine-Tuning (RFT)法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T12:06:24Z)
• When Only Time Will Tell: Interpreting How Transformers Process Local Ambiguities Through the Lens of Restart-Incrementality [19.103130032967663]
  因果的モデルは1つの解釈を出力して継続せざるを得ないが、修正可能なモデルはあいまいさが解決されるにつれて、以前の出力を編集することができる。 本研究では、再起動・インクリメンタルトランスフォーマーが内部状態を構築・更新する方法について検討し、自動回帰モデルではリビジョンが不可能なプロセスが何を引き起こすかを明らかにする。
  論文  参考訳（メタデータ） (2024-02-20T16:09:49Z)
• Identifying and Analyzing Performance-Critical Tokens in Large Language Models [52.404072802235234]
  我々は大規模な言語モデルがいかに実演からタスクを実行するかを研究する。 私たちの仕事は、大規模な言語モデルがデモからタスクを実行するための学習方法に光を当て、さまざまな種類のトークンが大きな言語モデルで果たす役割についての理解を深めます。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。