論文の概要: Script Choice in LLMs: Evidence for Late-Layer Commitment

• arxiv url: http://arxiv.org/abs/2609.28784v1
• Date: Wed, 23 Sep 2026 21:02:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.556105
• Title: Script Choice in LLMs: Evidence for Late-Layer Commitment
• Title（参考訳）: LLMにおけるスクリプト選択 - 遅延コミットのエビデンス
• Abstract要約: 本稿では,スクリプトの知識をLLM層に分散させる方法について検討する。 入力スクリプトと命令された出力スクリプトの両方が、ネットワークの最初期の層にエンコードされている。 実際の出力スクリプトへのコミットは最終レイヤでのみ発生し、モデルの中間表現はラテン文字でデフォルトになる。
• 参考スコア（独自算出の注目度）: 1.246870021158888
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we investigate how script knowledge is distributed across the layers of LLMs using two complementary interpretability methods: logistic regression probing and logit-lens analysis. Our probing experiments reveal a clear asymmetry: both the input script and the instructed output script are encoded in the earliest layers of the network, while, in contrast, commitment to the actual output script emerges only in the final layers, with the model's intermediate representations defaulting to Latin throughout most of the layers. This two-stage process is confirmed by logit-lens analyses, which show that script commitment consistently occurs at the very last layers of the LLMs. Together with the weaker script-following performance observed in smaller models, these results form a converging body of evidence linking script commitment to model depth, with broader implications for the design of sufficiently deep, inclusive multilingual architectures.
• Abstract（参考訳）: 本稿では,ロジスティック回帰探索とロジットレンズ解析という2つの相補的解釈可能性手法を用いて,スクリプトの知識をLLM層に分散させる方法について検討する。 入力スクリプトと命令された出力スクリプトは、ネットワークの最初期の層にエンコードされているのに対して、実際の出力スクリプトへのコミットメントは最終層にのみ現れ、モデルの中間表現は、ほとんどの層でラテン文字にデフォルト化されている。 この2段階のプロセスはlogit-lens分析によって確認され、LLMの最後の層でスクリプトのコミットが一貫して発生することを示している。 これらの結果は、より小さなモデルで観察されるより弱いスクリプト追従性能とともに、スクリプトのコミットメントをモデル深度にリンクする証拠の集合体を形成し、十分に深く、包括的な多言語アーキテクチャの設計に広範な意味を持つ。

関連論文リスト

• Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models [51.099179436350376]
  マルチモーダルな大言語モデル(MLLM)は、その堅牢な意味理解のために、法医学においてますます採用されている。 本稿では,人工物固有の視覚信号を中間層に残路として注入しながら,初期意味処理を保存するためのDeep Visual Residual MLLM(Deep-VRM)を提案する。 これにより、後続のレイヤは意味論的推論と信号レベルの法医学的手がかりを共同でモデル化することができ、驚くべきことに、モデルが入力に応じて異なるレベルの法医学的信号を適応的に活用することを学ぶ。
  論文  参考訳（メタデータ） (2026-06-14T16:05:45Z)
• The Latin Substrate: How Language Models Represent and Mediate Script Choice [10.624509426092597]
  私たちは、同じ言語のスクリプトがレイヤー間で分離しやすくなっていることを示しています。 私たちは、スクリプトの選択を因果的に仲介する、レイト層アテンションヘッドの小さなセットをローカライズします。
  論文  参考訳（メタデータ） (2026-05-29T14:36:04Z)
• TIT: A Tree-Structured Instruction Tuning Approach for LLM-Based Code Translation [11.882496324328905]
  LLMに基づくコード翻訳のためのツリー構造化命令チューニングパラダイムであるTITを提案する。 構文的混乱を軽減するため、構文的情報表現モジュールは言語に依存しない構文的特徴を統合する。 高品質の粒度並列データを生成するために、細粒度並列データセット拡張モジュールは、ノードとコードセグメントを整列する。
  論文  参考訳（メタデータ） (2025-10-10T13:53:46Z)
• CML-Bench: A Framework for Evaluating and Enhancing LLM-Powered Movie Scripts Generation [66.24195604846103]
  対話コヒーレンス(DC)、キャラクタ一貫性(CC)、Plot Reasonableness(PR)にまたがる定量的メトリクスを特徴とするCML-Benchを提案する。 CML-Benchは、熟練した人書きのスクリプトに効果的に高いスコアを割り当てる。 ベンチマークをさらに検証するために,文字対話とイベントロジックに関する詳細な指示を取り入れたプロンプト戦略であるCML-Instructionを導入する。
  論文  参考訳（メタデータ） (2025-10-01T08:03:26Z)
• How Multimodal LLMs Solve Image Tasks: A Lens on Visual Grounding, Task Reasoning, and Answer Decoding [39.342366994703376]
  MLLMが階層間の視覚的およびテキスト的入力をどのように処理するかを分析するための探索フレームワークを導入する。 ステージ単位の構造は、視覚的トークン化、命令チューニングデータ、事前学習コーパスの様々なバリエーションで安定しているが、各ステージシフトごとに特定の層が割り当てられることが示される。
  論文  参考訳（メタデータ） (2025-08-27T21:22:01Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Internal Chain-of-Thought: Empirical Evidence for Layer-wise Subtask Scheduling in LLMs [38.92807957252196]
  大規模言語モデル (LLM) は連続的に分解され、複合タスクを層ごとに実行する。 i)異なるサブタスクは異なるネットワーク深さで学習され、ii)これらのサブタスクは層間で順次実行される。
  論文  参考訳（メタデータ） (2025-05-20T15:49:15Z)
• Multimodal Language Models See Better When They Look Shallower [54.5303326937134]
  マルチモーダル大言語モデル(MLLM)は、通常、事前訓練された視覚変換器(ViT)の最終層から視覚的特徴を抽出する。 MLLMの視覚層選択に関する最初の総合的研究を行い,VT層間の表現類似性を解析した。 我々は、深い層がOCRのようなセマンティックリッチなタスクに優れているのに対して、浅い層と中層の層は、きめ細かい視覚的なタスクでそれらを著しく上回っていることに気付きました。
  論文  参考訳（メタデータ） (2025-04-30T09:07:10Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。