論文の概要: Auditing Tool Traces in Agentic LLMs: Source Localization and Counterfactual Dependence Testing

• arxiv url: http://arxiv.org/abs/2610.25540v1
• Date: Sun, 18 Oct 2026 21:17:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 13:41:19.901997
• Title: Auditing Tool Traces in Agentic LLMs: Source Localization and Counterfactual Dependence Testing
• Title（参考訳）: エージェントLDMにおけるツールトレースの検査方法:ソースローカライゼーションと非現実的依存性テスト
• Abstract要約: シリアライズされたツールの結果には、データセット識別子やテンプレートアーティファクトなどの隠されたラベルショートカットが含まれており、生物学的な推論なしで明らかな成功をもたらす。 1つのツールで最強の信号を識別子にローカライズするための2段階の監査を導入し、それを再現することで性能をチャンスに還元する。 これらの結果は、隠れたラベルショートカットが科学的推論や発見として、ベンチマークが信頼される前にソースレベルの監査を動機付けることができることを示している。
• 参考スコア（独自算出の注目度）: 21.40677631246791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic LLMs increasingly support scientific prediction by grounding decisions in external evidence. In biology, they promise accurate, interpretable predictions for important problems by integrating complex experimental and computational evidence. However, serialized tool results can contain hidden label shortcuts, such as dataset identifiers or template artifacts, that create apparent success without biological reasoning. To address this risk, we introduce a two-stage audit. Stage 1, Per-Tool TF-IDF Decomposition (PT2D), localizes label-predictive patterns to individual tool results while avoiding signal dilution in the concatenated tool trace. Stage 2, Token-Class Redaction, counterfactually tests whether the frozen LLM depends on the localized shortcut. We apply this audit to TCR-pMHC binding, where tool augmentation substantially outperforms a no-evidence baseline. At face value, this suggests that the LLM has learned to use scientific evidence. The audit overturns this interpretation: PT2D localizes the strongest signal to identifiers in one tool result, and redacting them reduces performance to chance. These findings show how hidden label shortcuts can masquerade as scientific reasoning or discovery, motivating source-level audits before benchmark gains are trusted.
• Abstract（参考訳）: エージェントLSMは、外部の証拠に決定を下すことによって、科学的予測をますます支援している。 生物学では、複雑な実験と計算の証拠を統合することで、重要な問題に対する正確で解釈可能な予測を約束する。 しかし、シリアライズされたツールの結果には、データセット識別子やテンプレートアーティファクトなどの隠されたラベルショートカットが含まれており、生物学的な推論なしに明らかな成功をもたらす。 このリスクに対処するため、我々は2段階の監査を導入する。 ステージ1: Per-Tool TF-IDF Decomposition (PT2D) は、連結ツールトレースの信号希釈を回避しつつ、ラベル予測パターンを個々のツール結果にローカライズする。 ステージ2 Token-Class Redaction, 凍結LDMが局所的ショートカットに依存するかどうかを実証する。 我々はこの監査をTCR-pMHCバインディングに適用し、ツール拡張は非エビデンスベースラインを大幅に上回っている。 このことは、LLMが科学的証拠を使うことを学んだことを示唆している。 PT2Dは、最も強い信号を1つのツール結果の識別子にローカライズし、それらを再実行することで、パフォーマンスを偶然に低下させる。 これらの結果は、隠れたラベルショートカットが科学的推論や発見として、ベンチマークが信頼される前にソースレベルの監査を動機付けることができることを示している。

関連論文リスト

• Who Is Behind the Harness? Fingerprinting LLMs through Agentic Behavior [8.146941441861614]
  我々は,コーディングエージェント実行のためのアクティブブラックボックスフィンガープリント手法であるLIDARを提案する。 3つのプローブペアは、制御された変更の下で、後続検証、過渡障害回復、および仕様-テスト競合解決を公開する。 高いTop-1精度とMRRを実現し、4つの既存の指紋認証とAPI監査ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-23T09:12:46Z)
• Compaction as Epistemic Failure: How Agentic LLM Tools Fabricate Confirmed Results from Killed Processes [0.0]
  本稿では、タイムアウトコマンド(排他コード143)からの部分標準出力が、確認された結果として圧縮要約に記録されるクロードコードにおいて、障害モードを文書化する。 根底にあるメカニズムは、観測と永続化の融合であり、端末に現れた情報は、耐久性のある記憶に書き込まれた情報と同等のものとして扱われる。
  論文  参考訳（メタデータ） (2026-07-11T07:45:13Z)
• Decoding Hidden Deception in Reasoning LLMs: Activation Explainers for Deception Auditing [22.30404793367838]
  本稿では,騙し監査のためのアクティベーション説明器STATEWITNESSを紹介する。 個別のデコーダはターゲットモデルの隠れた状態を読み、自然言語クエリに答えるか、それらに関する構造化されたレポートを出力する。 本研究では,7つの偽装データセットを対象とする2つのLLMに対するSTATEWITNESSの評価を行った。
  論文  参考訳（メタデータ） (2026-06-16T03:41:29Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Internal Representations as Indicators of Hallucinations in Agent Tool Selection [5.2107604548805915]
  大規模言語モデル(LLM)は、ツール呼び出しとツールの使用において顕著な能力を示している。 LLMは、誤ったツールを選択し、不正なパラメータを提供し、"ツールバイパス"の振る舞いを示す幻覚に悩まされる。 LLMの内部表現を利用して,ツールコールの幻覚をリアルタイムに検出する,計算効率のよいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-08T18:38:45Z)
• Where Did It Go Wrong? Attributing Undesirable LLM Behaviors via Representation Gradient Tracing [12.835224376066769]
  大きな言語モデル(LLM)は目覚ましい機能を示しているが、そのデプロイメントは望ましくない振る舞いによってしばしば損なわれている。 本稿では,表現とその勾配を解析することによって,望ましくないLCMの挙動を診断する,新しい,効率的なフレームワークを提案する。 本手法は,有害な内容の追跡,バックドア中毒の検出,知識汚染の同定などのタスクに対して,系統的に評価する。
  論文  参考訳（メタデータ） (2025-09-26T12:07:47Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。