論文の概要: Amplitude-Only FFN Intervention for Tool-Structured LLM Inference Method: Gated Evaluation Protocol, and Cross-Model Empirical Results

• arxiv url: http://arxiv.org/abs/2607.11183v1
• Date: Mon, 13 Jul 2026 07:28:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.364825
• Title: Amplitude-Only FFN Intervention for Tool-Structured LLM Inference Method: Gated Evaluation Protocol, and Cross-Model Empirical Results
• Title（参考訳）: ツール構造化LDM推論のための振幅専用FFN干渉:ゲート評価プロトコルとクロスモデル実験結果
• Abstract要約: モデル重みをトレーニングせずに構造出力を改善するために,推定時フィードフォワードネットワーク(FFN)の介入について検討した。 増幅ゲーティング(Amplitude Gating, AG)は、未訓練のFFNの重量方向を保存し、生成時にのみ活性化の程度を調節する非破壊的な代替手段である。 これらの結果から,安全なFFNレベルの推論最適化のための最も信頼性の高い第1ターゲットとして,ツール構造推論が同定された。
• 参考スコア（独自算出の注目度）: 7.680860582063338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models increasingly operate as tool-using agents, where small format, argument, or function-call errors can invalidate otherwise plausible responses. We study inference-time feed-forward network (FFN) intervention for improving structured outputs without retraining model weights. Our project began with Orthogonal Residual Projection (ORP), a direction-changing repair attempt that revealed sensitive SwiGLU FFN intervention sites but often caused more harm than fixes. We therefore propose Amplitude Gating (AG), a non-destructive alternative that preserves pretrained FFN weight directions and modulates only activation magnitudes during generation. We define a fine-grained intervention system spanning P1/P2/P3 and branch-specific P1s/P2a/P2b sites, and introduce an evaluation protocol that separates combination-oracle headroom from fixed configurations and learned gates, enforces sample-level accounting, and uses task-aware metrics for binary and partial-credit datasets. Across Qwen3.5-9B, Qwen3-8B, and Qwen2.5-7B, AG is weakly positive in aggregate but strongest on tool-structured tasks. On Qwen3.5-9B, a category-level learned gate improves tool/structured/agentic performance from 38.66% to 42.92% (+4.27 percentage points), with Hermes function-call tasks reaching about +7.6 points. On Qwen3-8B, Hermes JSON mode improves by +11.36 points. Qwen2.5-7B retains oracle headroom but current learned gates fail to capture it, showing that deployment requires model- and category-specific routing. Comparisons of entropy AG with Newton-Schulz-windowed AG show that neither family is uniformly dominant. These results identify tool-structured inference as the most credible first target for safe FFN-level inference optimization, while prospective online validation and broader cross-model evaluation remain necessary.
• Abstract（参考訳）: 大きな言語モデルはツール使用エージェントとして機能し、小さなフォーマット、引数、関数呼び出しエラーは、そうでなければ妥当な応答を無効にすることができる。 モデル重みをトレーニングせずに構造出力を改善するために,推定時フィードフォワードネットワーク(FFN)の介入について検討した。 当プロジェクトでは,SwiGLU FFN介入部位の感度を呈する方向転換修復の試みであるOrthogonal Residual Projection (ORP) から開始した。 そこで本研究では,未学習のFFN重み方向を保存し,生成時の活性化度だけを変調する非破壊的な代替手段であるAmplitude Gating (AG)を提案する。 P1/P2/P3サイトとブランチ固有のP1s/P2a/P2bサイトにまたがるきめ細かな介入システムを定義し、固定された構成と学習ゲートから組み合わせたヘッドルームを分離する評価プロトコルを導入し、サンプルレベルの会計を施行し、バイナリおよび部分クレディットデータセットにタスク認識メトリクスを使用する。 Qwen3.5-9B、Qwen3-8B、Qwen2.5-7Bの合計では弱いが、ツール構造化タスクでは最強である。 Qwen3.5-9Bでは、カテゴリレベルの学習ゲートがツール/構造化/診断性能を38.66%から42.92%(+4.27ポイント)に改善し、ヘルメス関数呼び出しタスクは約7.6ポイントに達した。 Qwen3-8Bでは、Hermes JSONモードが+11.36ポイント改善されている。 Qwen2.5-7Bはオラクルのヘッドルームを維持しているが、現在の学習ゲートはそれをキャプチャできず、デプロイにはモデルとカテゴリ固有のルーティングが必要であることを示している。 エントロピーAGとニュートン・シュルツ・ウィンドAGの比較は、どちらの家族も一様支配的ではないことを示している。 これらの結果は、安全なFFNレベルの推論最適化のための最も信頼性の高い第一ターゲットとしてツール構造推論を識別する一方で、将来的なオンライン検証とより広範なクロスモデル評価が必要である。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL [10.399451281089318]
  我々はMiniGridをコア評価として,MuJoCoを境界応力試験として用いたPPO訓練剤について検討した。 私たちの監査では、報酬の洪水とセマンティック/API誤解という、2つの主要なワンショット障害モードを見つけました。 本稿では,トレーニング診断と障害モード分類ガイドが報酬関数の修正を対象とする,診断駆動反復改善法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T17:57:43Z)
• Three Roles, One Model: Role Orchestration at Inference Time to Close the Performance Gap Between Small and Large Agents [0.4666493857924357]
  複雑なマルチステップ環境において,推論時足場のみに追加のトレーニング計算を使わずに,小さなモデルの性能を向上させることができるかどうかを検討した。 我々は,AppWorldベンチマークのQwen3-8Bを,完全精度と4ビット量子化構成の両方で評価した。 本格的な推測では、私たちの足場付き8Bモデルは、オリジナルのAppWorld評価からDeepSeek-Coder 33Bインストラクション(7.1%)を上回っています。
  論文  参考訳（メタデータ） (2026-04-13T13:40:33Z)
• Controllable and Verifiable Tool-Use Data Synthesis for Agentic Reinforcement Learning [82.89535601592739]
  マルチレベル検証を用いた自己進化型合成により,信頼性の高い基本ツール利用軌跡を生成する2段階パイプラインを提案する。 これらの拡張は、トラクタツール、間接的または曖昧なユーザクエリ、ノイズ、マルチフォーマット、あるいは誤ったツール出力を導入します。 本設計では,標準事例に対する参照マッチングによる報酬の自動計算と,エラー検出などの特別な動作に対する軽量な判断支援検証を実現する。
  論文  参考訳（メタデータ） (2026-04-10T18:38:52Z)
• CoT2-Meta: Budgeted Metacognitive Control for Test-Time Reasoning [17.364321308755667]
  CoT2-Metaはトレーニング不要なメタ認知推論フレームワークである。 オブジェクトレベルの連鎖生成と部分的推論軌道に対するメタレベルの制御を組み合わせる。 強いシングルパス、サンプリングベース、検索ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-30T07:59:47Z)
• REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
  回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。 我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-03-17T21:19:08Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• Surgical Post-Training: Cutting Errors, Keeping Knowledge [14.639241720055658]
  手術後の訓練は、学習済みの事前知識を維持しながら推論を効率的に最適化するために設計されたパラダイムである。 4kの修正された数学データペアだけで、SPoTはQwen3-8Bの精度をドメイン内およびOODタスク全体で平均6.2%改善する。
  論文  参考訳（メタデータ） (2026-03-02T10:12:56Z)
• Reconstructing Training Data from Adapter-based Federated Large Language Models [28.583571306465306]
  低ランクアダプタは、新しい、悪用可能なリークチャネルを生成する。 我々は、アダプタベースのFedLLMのユニークな構造に合わせて、unordered-word-based Text Reconstruction (UTR)攻撃を提案する。
  論文  参考訳（メタデータ） (2026-01-24T17:15:16Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
  LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。 本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。 我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
  論文  参考訳（メタデータ） (2025-11-11T21:50:44Z)
• From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models [27.774067682004745]
  GISP-Global Iterative Structured Pruningは、ブロックワイド正規化により、構造レベルで集約された1次、損失ベースの重要な重み付けを用いて、注目ヘッドとチャネルを除去する。 反復的なスケジュールは、ワンショットプルーニングではなく、高い間隔で精度を安定させ、中間微調整を必要とせず、パープレキシティの崩壊を緩和する。 重要度はモデルレベルの損失によって定義されるため、GISPはタスク固有の目的を自然にサポートしている。
  論文  参考訳（メタデータ） (2025-10-20T19:04:09Z)
• Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
  マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。 現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。 A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
  論文  参考訳（メタデータ） (2025-09-12T16:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。