論文の概要: A Shared Subcircuit Lets LLMs Count Down Across Tasks

• arxiv url: http://arxiv.org/abs/2607.12279v1
• Date: Tue, 14 Jul 2026 02:30:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.014295
• Title: A Shared Subcircuit Lets LLMs Count Down Across Tasks
• Title（参考訳）: LLMでタスクをカウントできるシェアサブサーキット
• Abstract要約: カウントダウンサブ回路」は現在の位置をゴールの長さと比較し、それまでの時間を見積もる。 まず制御された設定でカウントダウンサブ回路を分離し、そのモデルが指定された単語で終わる固定長の文を書くことを課題とする。 我々は、自然言語データセット上で教師なしの探索を使用して、このサブ回路が使用される様々なタスクを探索する。
• 参考スコア（独自算出の注目度）: 6.735480539143566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Writing a sentence of exactly twelve words; ending a DNA sequence at the right codon; formatting an ASCII table. These are all tasks that language models can do that requires tracking how many tokens remain before a target. In this work, we identify in Llama-3.1-70B-Instruct a general mechanism for performing these tasks: a "countdown subcircuit" that compares the current position to a goal length and estimates the time remaining until then. We first isolate a countdown subcircuit in a controlled setting, in which the model is tasked with writing a fixed-length sentence ending in a specified word. We then investigate the geometry of the representations used by the subcircuit, and find that the subcircuit uses an identical motif previously identified in a frontier LLM on a separate task, thus suggesting that this motif is shared across models. Finally, we use unsupervised probing on a natural language dataset to find a variety of other tasks where this subcircuit is used, including tasks where the goal length is inferred from context rather than explicitly stated. Our work suggests that reverse-engineering subcircuits allows us to understand how behaviors generalize from a single example to many different tasks and even models.
• Abstract（参考訳）: 正確に12ワードの文を書き、正しいコドンでDNA配列を終了し、ASCIIテーブルをフォーマットする。 これらは、言語モデルで可能なすべてのタスクであり、ターゲットの前に残っているトークンの数を追跡する必要がある。 本研究では、Llama-3.1-70Bにおいて、これらのタスクを実行するための一般的なメカニズムを指示する。 まず制御された設定でカウントダウンサブ回路を分離し、そのモデルが指定された単語で終わる固定長の文を書くことを課題とする。 次に、サブサーキットが使用する表現の幾何学を調べた結果、サブサーキットは別のタスクでフロンティア LLM で以前に同定された同一のモチーフを用いており、このモチーフがモデル間で共有されることが示唆された。 最後に、自然言語データセット上の教師なし探索を用いて、このサブ回路が使用される様々なタスクを見つけます。 我々の研究は、リバースエンジニアリングのサブ回路が1つの例から多くの異なるタスクやモデルに至るまでの振る舞いをどのように一般化するかを理解することができることを示唆している。

関連論文リスト

• Macro-Operator Generation and Predicate Selection for TAMP Operator Learning [1.3177681589844814]
  手動でシンボリック演算子を作成することは、タスク・アンド・モーション・プランニングシステムのデプロイにおける主要なボトルネックの1つです。 しかし、既存のメソッドは通常、それぞれのアクションを独立して学習し、操作タスクの繰り返し発生するマルチステップ構造をキャプチャできない。 本稿では,マクロ演算子の自動生成を主成分とするシステムを提案する。
  論文  参考訳（メタデータ） (2026-08-23T09:38:27Z)
• Chained Recursive Language Models for Multi-Iteration Reasoning [46.765013720309064]
  Chained Recursive Language Models (Chained RLM)は、推論時のアーキテクチャである。 各ルートは元の問題とコンテキストを受信するが、完全な会話履歴を継承しない。 各段階の計算では、中間アーティファクトを検査し、修正し、同じモデルで後の新しい推論によって拡張することができる。
  論文  参考訳（メタデータ） (2026-08-05T17:50:08Z)
• Data-driven Circuit Discovery for Interpretability of Language Models [32.70005004096789]
  回路探索は、言語モデル(LM)が回路をローカライズし解釈することで、特定のタスクをどのように実装するかを説明することを目的としている。 既存のメソッドは、まずデータセットでタスクを非公式に定義し、次にそのデータセットに回路探索アルゴリズムを適用して単一の回路を得る。 データ駆動型サーキットディスカバリ(DCD)を提案する。
  論文  参考訳（メタデータ） (2026-05-09T19:20:57Z)
• When 2D Tasks Meet 1D Serialization: On Serialization Friction in Structured Tasks [49.84804136268971]
  大規模言語モデルは構造化された入力を1Dトークンシーケンスとして処理する。 ロウカラムアライメントと局所地区は、入力で直接表現されなくなった。 我々は、シリアライズされた入力に対してテキストのみの言語経路と、視覚増強された経路を比較した。
  論文  参考訳（メタデータ） (2026-04-29T23:58:45Z)
• Same Task, Different Circuits: Disentangling Modality-Specific Mechanisms in VLMs [49.42020616826156]
  VLM(Vision-Language Model)は、視覚的な入力に関する質問に答える能力を示すが、テキスト上で類似のタスクを実行する際の精度は高い。 異なるモードのテキスト回路を同定し,比較することにより,この精度ギャップについて検討する。 これを解決するために、後層の視覚データトークンの表現を以前のレイヤに戻します。
  論文  参考訳（メタデータ） (2025-06-10T17:59:21Z)
• Position-aware Automatic Circuit Discovery [59.64762573617173]
  我々は既存の回路探索手法のギャップを同定し、モデル成分を入力位置間で等しく関連するものとして扱う。 可変長例を含むタスクであっても,回路に位置性を組み込むための2つの改良を提案する。 提案手法により, 位置感応回路の完全自動検出が可能となり, 従来よりも回路サイズと忠実度とのトレードオフが良好になる。
  論文  参考訳（メタデータ） (2025-02-07T00:18:20Z)
• Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。 そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:33:00Z)
• Learning Multi-Aspect Item Palette: A Semantic Tokenization Framework for Generative Recommendation [55.99632509895994]
  マルチアスペクトセマンティックトークン化のための新しいアプローチであるLAMIAを紹介する。 単一の埋め込みを使用するRQ-VAEとは異なり、LAMIAは独立的でセマンティックな並列な埋め込みの集合である「アイテムパレット」を学習する。 その結果,提案手法よりも提案手法の精度が大幅に向上した。
  論文  参考訳（メタデータ） (2024-09-11T13:49:48Z)
• Identifying and Analyzing Performance-Critical Tokens in Large Language Models [52.404072802235234]
  我々は大規模な言語モデルがいかに実演からタスクを実行するかを研究する。 私たちの仕事は、大規模な言語モデルがデモからタスクを実行するための学習方法に光を当て、さまざまな種類のトークンが大きな言語モデルで果たす役割についての理解を深めます。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Using Selective Masking as a Bridge between Pre-training and Fine-tuning [5.677685109155077]
  本稿では,タスク固有のマスキングにより,下流タスクに対して事前学習したBERTモデルを調整する方法を提案する。 選択マスキング戦略はランダムマスキングよりも優れており,その有効性が示されている。
  論文  参考訳（メタデータ） (2022-11-24T22:25:27Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Using BERT Encoding and Sentence-Level Language Model for Sentence Ordering [0.9134244356393667]
  本稿では,短い記事のコーパスにおける文順序付けのアルゴリズムを提案する。 提案手法では,アテンション機構を用いて文の依存関係をキャプチャするUniversal Transformer (UT) に基づく言語モデルを用いる。 提案モデルには文、言語モデル、Brute Force Searchによる文配列の3つのコンポーネントが含まれている。
  論文  参考訳（メタデータ） (2021-08-24T23:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。