論文の概要: perturber: A Stateless Service for Semantics-Preserving Text Perturbations
- arxiv url: http://arxiv.org/abs/2610.12667v1
- Date: Thu, 08 Oct 2026 19:44:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.26041
- Title: perturber: A Stateless Service for Semantics-Preserving Text Perturbations
- Title（参考訳）: perturber: セマンティックスのためのステートレスサービス
- Abstract要約: Perturberは、ステートレスサービスとPythonライブラリで、呼び出し毎に正確に1つのセマンティクス保存の摂動を適用します。
単一のプリミティブをオンにして、コンポジションを呼び出し側の連鎖呼び出しに残し、サービスとライブラリが構築によって同じ出力を生成する。
ツール自体,その正しさ,コストを,どのモデルの頑健さよりも高く評価し,それを仮定するのではなく,摂動ごとの意味保存を計測した。
- 参考スコア（独自算出の注目度）: 0.27074235008521236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) evaluations on clean benchmarks overstate model robustness: real inputs arrive perturbed, and these meaning-preserving variants routinely move model answers. Studying this systematically requires applying perturbations one at a time, reproducibly, and identically wherever they run, yet existing tools couple them to a benchmarking stack rather than packaging them as a reusable transform layer. We present perturber, a stateless service and Python library that applies exactly one semantics-preserving perturbation per call, drawn from a first-party catalog of 68 perturbations across 11 families. It turns on a single primitive, with composition left to the caller chaining calls, so the service and the library produce identical output by construction. We evaluate the tool itself, its correctness, reproducibility, and cost, rather than any model's robustness, measuring meaning-preservation per perturbation rather than assuming it. The demonstration adds a live playground, an introspectable catalog for benchmark selection, and a one-command reproducible evaluation.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、クリーンなベンチマークによるモデル頑健さの評価である。
これを体系的に研究するには、一度に一度に摂動を適用し、再現的に、そして同じ方法で実行する必要があるが、既存のツールは再利用可能な変換層としてパッケージ化するのではなく、それらをベンチマークスタックに結合する。
私たちは、11ファミリーにわたる68の摂動のファーストパーティカタログから、コール毎に1つのセマンティクスを保存する摂動を正確に適用する、ステートレスサービスおよびPythonライブラリであるperturberを紹介します。
単一のプリミティブをオンにし、コンポジションは呼び出し側の連鎖呼び出しに残されるため、サービスとライブラリは構築によって同じ出力を生成する。
ツール自体, その正確性, 再現性, コストを, どんなモデルの頑健性よりも評価し, その仮定よりも摂動ごとの意味保存を計測した。
デモでは、ライブプレイグラウンド、ベンチマーク選択のためのイントロスペクタブルカタログ、ワンコマンドで再現可能な評価が追加された。
関連論文リスト
- Measuring the Serving Stack Instead of the Model: Hidden Confounds in Local Tool-Use Evaluation [0.49109372384514843]
測定結果は, モデル行動のみでなく, サービス層に依存していることを示す。
評価プロトコルの一部としてサービス提供行動を扱うためのチェックリストで締めくくった。
論文 参考訳（メタデータ） (2026-09-22T16:48:17Z) - ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - Agentic Model Checking [12.832868209928039]
本稿では,LLMエージェントと境界モデルチェックバックエンドを結合するパラダイムを提案する。
我々は、BMC-Agentのアプローチをインスタンス化し、CとRustのLLM生成カーネルおよびコンパイラコード上で評価する。
論文 参考訳（メタデータ） (2026-05-20T17:25:52Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - ClawEnvKit: Automatic Environment Generation for Claw-Like Agents [85.29126619772153]
我々は、オンデマンドで検証された環境を生成することができる自動生成パイプラインであるClawEnvKitを紹介する。
ClawEnvKitは、(1)自然言語入力から構造化生成パラメータを抽出するパイプライン、(2)タスク仕様、ツールインターフェース、スコアリング設定を生成するジェネレータ、(3)実現可能性、多様性、構造的妥当性、内部整合性を強制するバリデータからなる。
爪のようなエージェントの大規模なベンチマークであるAuto-ClawEvalを構築し、24のカテゴリで1,040の環境を網羅した。
論文 参考訳（メタデータ） (2026-04-20T17:36:49Z) - fastml: Guarded Resampling Workflows for Safer Automated Machine Learning in R [0.0]
我々は、ガードされた再サンプリングを通して漏洩認識機械学習のためのシングルコールインタフェースであるfastmlを提示する。
fastmlはグループ化とタイムオーダーのリサンプリングをサポートし、ハイリスク設定をブロックし、外部依存関係のレシピを監査し、サンドボックス実行と統合モデル説明を含む。
論文 参考訳（メタデータ） (2026-04-06T22:41:27Z) - Agents Learn Their Runtime: Interpreter Persistence as Training-Time Semantics [4.774525456207306]
ツール拡張LDMは、自然言語推論と実行可能なPythonアクションをインターリーブするエージェントとして、ますます多くデプロイされている。
インタプリタの永続化は単に実行時の足場なのか、それともエージェントがインタープリタの使い方を学習する方法を形作るトレーニングデータの特性なのかを問う。
ワンショットソリューションを避けるために設計された、部分的に観測可能な最適化タスクの手続き的に生成されたファミリーであるOpaque Knapsackを紹介する。
論文 参考訳（メタデータ） (2026-03-01T18:08:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。