論文の概要: Who Is Behind the Harness? Fingerprinting LLMs through Agentic Behavior
- arxiv url: http://arxiv.org/abs/2609.28559v1
- Date: Wed, 23 Sep 2026 09:12:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.401482
- Title: Who Is Behind the Harness? Fingerprinting LLMs through Agentic Behavior
- Title（参考訳）: 悪の背後に誰がいるのか? エージェント的行動によるLLMのフィンガープリント
- Abstract要約: 我々は,コーディングエージェント実行のためのアクティブブラックボックスフィンガープリント手法であるLIDARを提案する。
3つのプローブペアは、制御された変更の下で、後続検証、過渡障害回復、および仕様-テスト競合解決を公開する。
高いTop-1精度とMRRを実現し、4つの既存の指紋認証とAPI監査ベースラインを上回っている。
- 参考スコア（独自算出の注目度）: 8.146941441861614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs increasingly operate through coding-agent harnesses that inspect repositories, invoke tools, and modify files. Substituting the model behind such an agent can therefore change security-relevant decisions, including whether it verifies changes or recovers safely from failures. Existing LLM fingerprints largely infer identity from direct text or token distributions. In coding agents, these signals are mediated by system instructions, controller logic, tools, and execution feedback, limiting their transfer. We present LIDAR (LLM Identification from Decisions and Actions at Runtime), an active black-box fingerprinting method for coding-agent execution. Three coding probe pairs expose post-edit verification, transient-failure recovery, and specification--test conflict resolution under controlled changes. LIDAR represents the resulting trajectories with complementary instance-level and distribution-level features and compares them with clean references using a lightweight probabilistic identifier. It requires no access to model weights, logits, or provider internals. Across 36 models from seven families and two agent harnesses, LIDAR achieves high Top-1 accuracy and MRR and outperforms four existing fingerprinting and API-auditing baselines. Ablations confirm that the two feature levels, all probe pairs, and their controlled variants contribute. These results show that agent execution behavior provides model-identity evidence beyond final outputs.
- Abstract（参考訳）: LLMは、リポジトリの検査、ツールの呼び出し、ファイルの変更を行うコーディングエージェントハーネスを通じて、ますます運用されている。
このようなエージェントのモデルに代えて、変更の検証や障害からの安全に回復を含む、セキュリティ関連の決定を変更できる。
既存のLLM指紋は、直接テキストやトークンの分布からアイデンティティーを推測する。
コーディングエージェントでは、これらの信号はシステム命令、コントローラロジック、ツール、実行フィードバックによって仲介され、転送を制限する。
LIDAR(LLM Identification from Decisions and Actions at Runtime)は,コードエージェント実行のためのアクティブなブラックボックスフィンガープリント手法である。
3つの符号化プローブペアは、制御された変更の下で、後続検証、過渡障害回復、および仕様-テスト競合解決を公開する。
LIDARは、結果として得られるトラジェクトリを、補完的なインスタンスレベルと分散レベルの特徴で表現し、それらを軽量な確率的識別子を使用してクリーンな参照と比較する。
モデルウェイト、ロジット、プロバイダ内部へのアクセスは不要である。
7つのファミリーと2つのエージェントハーネスから36モデルにわたって、LIDARはTop-1の精度とMRRを達成し、4つの既存の指紋認証とAPI監査ベースラインを上回っている。
アブレーションは2つの特徴レベル、全てのプローブ対とその制御された変種が寄与することを確認する。
これらの結果は、エージェントの実行行動が最終的な出力を超えるモデル同一性証拠を提供することを示している。
関連論文リスト
- Symbolic Temporal Supervision of LLM Agents Using Contracts [1.7188280334580195]
本稿では,大規模言語モデル(LLM)エージェントのシンボリック時間監視のための契約ベースのフレームワークであるContrAgentを紹介する。
ContrAgentは、エージェントの振舞いを一連のツールコールとして捉え、それを固定されたチェック可能な述語セット上のトレースとしてフォーマル化する。
その後、有限トレース上の線形時間論理における仮定保証契約(sum-guarantee contract)を用いて必要な振る舞いを特定する。
論文 参考訳（メタデータ） (2026-09-16T05:05:35Z) - AgentProv: Auditing Agentic LLM API Providers via Tool-use Policy Probes [38.37599802008238]
商用LLM APIは特定の基盤モデルを宣伝するが、提供されたバックボーンは静かに代用され、定量化され、あるいはラップされることがある。
既存の監査はすべて、テキスト出力チャネルからバックボーンアイデンティティを決定する。
本稿では,AgentProv(AgentProv)について紹介する。
論文 参考訳（メタデータ） (2026-08-30T08:22:12Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - AuditWeave: A Tamper-Evident, Auditor-Navigable Evidence Layer for AI-Assisted and Data-Transformation Workflows [0.0]
AuditWeaveは、AIアシストとデータ変換のステップを1つのハッシュチェーンの台帳に記録する軽量Pythonライブラリである。
本稿では,参照実装におけるオーバヘッド,拡張性,タンパー検出の正確さを設計し,評価する。
論文 参考訳（メタデータ） (2026-06-14T21:46:04Z) - FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search [11.638321375070047]
LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。
我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。
論文 参考訳（メタデータ） (2026-05-30T15:11:35Z) - Willful Disobedience: Automatically Detecting Failures in Agentic Traces [2.2365938060262356]
AgentPexはエージェントトレースを体系的に評価するAIツールである。
エージェントプロンプトとシステム命令から振る舞いルールを抽出し、これらの仕様を使用してコンプライアンスのトレースを自動的に評価する。
我々は、通信、小売、航空会社の顧客サービスにおいて、AgentPexを2ベンチから424のトレースで評価した。
論文 参考訳（メタデータ） (2026-03-25T00:33:39Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。