論文の概要: A Tool in the Forward Pass: Frozen Tape Modules as Layers of a Small Language Model

• arxiv url: http://arxiv.org/abs/2611.00783v1
• Date: Sat, 31 Oct 2026 09:54:45 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:29:25.352906
• Title: A Tool in the Forward Pass: Frozen Tape Modules as Layers of a Small Language Model
• Title（参考訳）: 前方通過ツール:小型言語モデルの層としての凍結テープモジュール
• Abstract要約: ニューラルモジュールは言語モデルのフォワードパス内で動作する。 モジュールは個別にトレーニングされ、その後凍結され、テープを結果に還元し、学習したリーダーがその結果がモデルに返される。 我々はgemma-3-1b-itの演算と物体追跡を評価する。
• 参考スコア（独自算出の注目度）: 2.495554265941249
• License:
• Abstract: Calling a tool through generated text adds decoding steps, even when the computation itself is short. We study an alternative: a small neural module that runs inside a language model's forward pass. A learned writer turns hidden states into a symbolic tape, a short sequence of discrete symbols that encodes the computation. The module, trained separately and then frozen, reduces the tape to a result, and a learned reader returns that result to the model. We evaluate arithmetic and object tracking in gemma-3-1b-it. With a writer trained on labelled tapes, the layer answers all 750 items of BIG-Bench Hard's tracking shuffled objects correctly. At seven people it needs about 1/10 of the GPU kernel time of a text-tool baseline that uses the same host model and exact code, with accuracy 1.00 against 0.99. The writer can also be learned from answers alone, guided by a hand-written copying prior, but less reliably: 5 of 6 runs succeed in the 1B host and 2 of 4 in the 4B host. Two independently trained layers keep their task accuracy when attached to one model, and a learned gate keeps them silent on the tested general-text and look-alike prompts. The results support a narrow use case: a bounded computation that returns one symbol can avoid the decoding cost of a textual tool call. Extracting the right input reliably, and deciding when to act, remain the main open problems.
• Abstract（参考訳）: 生成されたテキストを通じてツールを呼び出すと、計算自体が短い場合でもデコードステップが追加される。 言語モデルのフォワードパス内で実行される小さなニューラルモジュールについて研究する。 学習したライターは、隠された状態を、計算を符号化する離散的なシンボルの短いシーケンスであるシンボルテープに変換する。 モジュールは個別にトレーニングされ、その後凍結され、テープを結果に還元し、学習したリーダーがその結果がモデルに返される。 我々はgemma-3-1b-itの演算と物体追跡を評価する。 ラベル付きテープを訓練した作家によって、この層はBIG-Bench Hardのシャッフルされたオブジェクトの750項目すべてに正しく答える。 7人なら、同じホストモデルと正確なコードを使用するテキストツールベースラインのGPUカーネル時間の約1/10が必要で、精度は1.00対0.99である。 著者は、手書きのコピーによって手書きの回答だけで学ぶこともできるが、信頼性は低い。6つのうち5つが1Bホストで、4つのうち2つが4Bホストで成功している。 2つの独立したトレーニングされたレイヤは、1つのモデルにアタッチされたときのタスクの正確さを保持し、学習されたゲートはテストされた汎用テキストとルックライクなプロンプトでそれらを黙らせる。 1つのシンボルを返す有界計算は、テキストツールコールのデコードコストを回避することができる。 正しい入力を確実に抽出し、いつ行動するかを決めることは、主要なオープンな問題である。

関連論文リスト

• How Language Models Organize Task Information [15.685091205854823]
  14個のコアタスクで5つの実験室から19個のLMを評価する。10つのベースモデルにより、確実に読みやすい9つの機能とほぼ同じ順序のタスクが提供される。 20モデルにわたる制御された合成実験では、成功した学習対象は単一機能の読み出しを許容する一方、可読性制御には数十の機能が必要である。 連続的な学習の後、保存されたヘッドは失敗するが、線形可読性は高いままであり、リカバリはテスト手順による初期タスク学習よりも少ないラベルを必要とする。
  論文  参考訳（メタデータ） (2026-10-20T06:43:48Z)
• Low-Cost Assays for Measuring Model Behavior Across Vendors and Releases [3.7734715043126488]
  言語モデルは人々に助言し、一緒に保ち、寝ている間にソフトウェアを書きます。 モデルビヘイビアを研究するための,シンプルで安価で,スケーラブルで,レプリカ可能なモデルを提案する。 それぞれの研究は、クロスベンダーパネル上で、一モデルあたり数ドル以下で、凍結した公共の刺激が実行されます。
  論文  参考訳（メタデータ） (2026-09-24T15:51:17Z)
• Autoresearch with Coding Agents: Generalizers and Metric-Maximizers on Quran Recitation Data [4.191965713559235]
  コーディングエージェントは、スコアに対してソフトウェアを改善するために、単独で残すことができます。 このパターンでは、エージェントはデータセット、評価スクリプト、編集可能な1つのファイルを受け取り、監督なしで反復する。 このループを実際の生産タスクで実行し、ノイズの多い音声認識書面にどのクラニック詩が現れるかを決定しました。
  論文  参考訳（メタデータ） (2026-07-20T15:32:09Z)
• Evaluating using Mock Tool Calls to Quarantine Untrusted Prompt Inputs [4.566221130579806]
  大規模言語モデルは、他のモデルからの回答を判断するなど、信頼できない入力を処理する必要がある。 現在のLLM仕様では、OpenAIのような主要なプロバイダが、インストラクション階層に沿って信頼性を区別している。 自然な緩和の可能性として、信頼できないコンテンツをモックツールコールで隔離としてラップすることが挙げられる。 私たちの仮説に反して、ツールラッピングはロバスト性を大きく改善しない。
  論文  参考訳（メタデータ） (2026-05-28T19:57:28Z)
• On the Effect of Token Merging on Pre-trained Models for Code [11.029842116504726]
  本研究では,同じ意味単位に属するサブトークンの隠蔽表現をマージする効果について検討する。 1つは表現を平均化することに基づく戦略であり、もう1つは学習に基づくアプローチを活用する戦略である。 これらの戦略は浮動小数点演算数を1%$から19%$に削減できることを示している。
  論文  参考訳（メタデータ） (2025-07-19T00:48:20Z)
• Chain of Code: Reasoning with a Language Model-Augmented Code Emulator [115.16975276693267]
  我々は、LMコード駆動推論を改善するシンプルながら驚くほど効果的な拡張であるChain of Codeを提案する。 キーとなるアイデアは、プログラム内のセマンティックなサブタスクを、インタープリタが明示的にキャッチできるフレキシブルな擬似コードとしてフォーマットすることを、LMに促すことである。
  論文  参考訳（メタデータ） (2023-12-07T17:51:43Z)
• BTR: Binary Token Representations for Efficient Retrieval Augmented Language Models [77.0501668780182]
  Retrieval augmentationは、大規模言語モデルにおける多くの重要な問題に対処する。 検索拡張言語モデル(LM)の実行は遅く、大量の検索されたテキストを処理するため、スケールが困難である。 1ビットベクトルを用いて各トークンを前処理するバイナリトークン表現(BTR)を導入する。
  論文  参考訳（メタデータ） (2023-10-02T16:48:47Z)
• Binding Language Models in Symbolic Languages [146.3027328556881]
  Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。 解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。 実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
  論文  参考訳（メタデータ） (2022-10-06T12:55:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。