論文の概要: Clean Tickets, Wrong Orders: Catching Silent Errors with a Language Model in Your Browser Tab
- arxiv url: http://arxiv.org/abs/2611.18284v1
- Date: Fri, 13 Nov 2026 15:13:47 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:51.512332
- Title: Clean Tickets, Wrong Orders: Catching Silent Errors with a Language Model in Your Browser Tab
- Title(参考訳): ブラウザのタブに言語モデルで無音のエラーをキャッチする「Create Tickets」
- Abstract要約: 本稿では,ビジターのブラウザタブ内で,微調整された0.8Bパラメータモデルが完全に動作するWebデモを紹介する。
ページはビジタータイプとして注文を解析し、PIZZAベンチマーク独自のマーカをTypeScriptに移植してすべてのチケットをスコアする。
- 参考スコア(独自算出の注目度): 0.20614518038365645
- License:
- Abstract: A small language model that turns a typed order into structure can fail in two ways. It can print something broken, which any system rejects. Or it can print a clean, well formed order that nobody placed. Our companion work calls the second kind a silent error, and it is the dangerous one. We present a web demo in which a fine-tuned 0.8B parameter model runs entirely inside the visitor's browser tab, through llama.cpp compiled to WebAssembly. No order text leaves the device. The page parses orders as the visitor types, scores every ticket with the PIZZA benchmark's own matcher ported to TypeScript, refuses anything off the menu with "?" so the model can face the open web, and lets visitors hunt for silent errors or try to cause one. Run in the browser on all 1,357 PIZZA test orders, the deployed model writes the same output as the server evaluation for 99.0% of them and reaches the same exact match (0.882); we also report its latency on 3 consumer laptops. Demo: https://wrong.cuyor.com
- Abstract(参考訳): 型付き順序を構造に変換する小さな言語モデルは、2つの方法で失敗する可能性がある。
壊れたものをプリントできるので、どんなシステムでも拒否できる。
あるいは、誰も置いていないきれいでよくできた注文をプリントすることもできます。
私たちの共同作業では、第2のタイプはサイレントエラーと呼ばれており、それは危険なものです。
WebAssemblyにコンパイルされたllama.cppを通じて、ビジターのブラウザタブ内で、微調整された0.8Bパラメータモデルが完全に実行されるWebデモを紹介します。
デバイスに注文文は残らない。
ページはビジタータイプとして注文を解析し、PIZAベンチマーク独自のマーカをTypeScriptに移植してすべてのチケットをスコア付けし、メニューから"?
1,357のPIZAテストオーダーでブラウザ上で実行され、デプロイされたモデルは、99.0%のサーバ評価と同じ出力を書き、正確な一致(0.882)に達する。
Demo: https://wrong.cuyor.com
関連論文リスト
- Analysis of Local Open-Weight LLM Agents on Vulnerability-Reproduction Tasks [41.177497612345995]
単一のコンシューマGPUに適合するオープンウェイトな言語モデルは、さまざまなタスクで可能になっています。
脆弱性記述を脆弱性のあるビルドをクラッシュさせる入力に変換する脆弱性の再現は、それらにとって自然なターゲットである。
我々は,CyberGymの脆弱性再現タスク10件について,12のローカルモデルの構成を3世代,2つのアーキテクチャ,3つの量子化レベルで評価した。
論文 参考訳(メタデータ) (2026-11-04T10:07:14Z) - One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails [8.534825157831387]
型付き決定モデルはテキストを読み出し、呼び出し元定義のオプションよりも確率を返します。
最近の作業では、これらのモデルをエージェントシステムにガードレールとして配置している。
その役割において、7つのオープンウェイトモデルを評価し、2つのエラー方向を別々に報告する。
論文 参考訳(メタデータ) (2026-10-08T16:46:43Z) - Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation System [0.27998963147546135]
我々は、0.8Bから5つのコールサイトにわたるフロンティアホストモデルまで、ホームオートメーションフレームワークの9つのモデルを評価する。
私たちは、すべてのサイトにおいて、能力は同じように順序付けられておらず、大きなモデルが一様に改善されていないことに気付きました。
論文 参考訳(メタデータ) (2026-10-06T19:18:59Z) - WebFovea: When the Model Is Right but the Click Is Wrong -- Reliable Round Trips for Vision-Based Web Agents on Live Websites [0.5076419064097734]
We present WebFovea, a vision-based web agent that placed 2nd in the WebRetriever Challenge 2026 with final score of 57.0 of 100。
この課題は、WebRetrieverベンチマークのProtocol IIIでエージェントをエンドツーエンドに評価する。
論文 参考訳(メタデータ) (2026-10-02T09:18:28Z) - this-that-model-1.0: A typed decision model that decides in 30 ms, for a millionth of a cent [9.39195684989942]
このモデル1.0は2B型決定モデルである。
1つのラップトップGPU上で30.9msで決定し、それを行う出力トークンをゼロにする。
1つのコンシューマGPU上で毎秒32の意思決定を維持でき、ステートがマシンを離れることはない。
論文 参考訳(メタデータ) (2026-09-20T21:43:03Z) - Discriminative World Models for Web Agents [52.31107486410659]
最近のWebエージェントは、テストタイムアクションの選択に世界モデルを使用し、候補アクションをサンプリングし、結果のWeb状態を予測し、ランキングモデルまたはプロセスリワードモデル(PRM)でランキングする。
予測状態マッチング(英: predict-state matching)は、予測された表現が真の結果状態と、代替行動によって到達した状態とを区別しなければならない訓練目的である。
提案手法は,WebPRMBench上でのPRMスタイルのアクションランキングを改善する。
論文 参考訳(メタデータ) (2026-09-02T17:59:40Z) - PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation [51.92442051257354]
PairCoderは、実行のみではなく、完全な公式メトリックスイート上で、アーティファクトが検証可能なすべてのベンチマークを本質的に改善する。
TikZのコンパイルレートは、各モデルで10から30ポイント、シングルモデルの2.9から9.2倍である。
論文 参考訳(メタデータ) (2026-07-02T08:36:02Z) - Asuka-Bench: Benchmarking Code Agents on Underspecified User Intent and Multi-Round Refinement [45.813104201414326]
マルチラウンドリファインメントと不特定ユーザ意図を組み合わせたベンチマークであるAuka-Benchを提示する。
ベンチマークは、Webタスク50、評価基準784、予測結果2402からなる。
最強のモデルでさえ、3ラウンドの後にプロジェクトの52%しか完了していない。
論文 参考訳(メタデータ) (2026-06-04T09:24:30Z) - Micro Language Models Enable Instant Responses [49.192613030724424]
スマートウォッチやスマートグラスのようなエッジデバイスは、電力と計算の制約により、最小の100M-1Bパラメータ言語モデルでさえ連続的に動作できない。
マイクロ言語モデル($LMs)を導入し、デバイス上でコンテキスト的にグラウンドされた応答の最初の4-8ワードを即座に生成する。
我々は,70M-256Mクラスの既存モデルに適合するモデルを用いて,有用な言語生成を極端に大規模に維持することを示す。
論文 参考訳(メタデータ) (2026-04-21T16:31:12Z) - FLDetector: Defending Federated Learning Against Model Poisoning Attacks
via Detecting Malicious Clients [39.88152764752553]
フェデレート・ラーニング(Federated Learning, FL)は、モデル中毒攻撃に対して脆弱である。
悪意のあるクライアントは、操作されたモデルの更新をサーバに送信することで、グローバルモデルを破壊しました。
私たちのFLDetectorは、悪意のあるクライアントの大部分を検出し、削除することを目的としています。
論文 参考訳(メタデータ) (2022-07-19T11:44:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。