論文の概要: Measure Before You Train: Typed Decision Models vs. a Classical Baseline vs. a Generative LLM for Routing a Personal Multilingual Inbox

• arxiv url: http://arxiv.org/abs/2610.32955v1
• Date: Fri, 23 Oct 2026 17:49:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.62653
• Title: Measure Before You Train: Typed Decision Models vs. a Classical Baseline vs. a Generative LLM for Routing a Personal Multilingual Inbox
• Title（参考訳）: トレーニング前の測定: 個人用多言語インボックスをルーティングするための古典的ベースライン対ジェネレーティブLLM
• Abstract要約: 個人メールエージェントは、メッセージごとに、それが何であるか、緊急かどうか、返信の起草、タスクの作成、無視かを判断する。 本稿では、セルフホスト型の個人用受信箱エージェントであるFoyerについて紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personal email agents decide, for every message, what it is, whether it is urgent, whether to draft a reply, create a task, or ignore it. Their error rate is rarely measured: the stored labels were written by the system itself. We present Foyer, a self-hosted personal inbox agent in daily use, and a measurement protocol (stratified sampling, frozen snapshots, thread-grouped splits, pre-registered hypotheses, human labels in the agent's review loop) that yields ground truth before any training. On 739 real Italian/English emails labelled by the owner (231 unbiased, 500 adversarially sampled), we compare nine systems under thread-grouped cross-validation: the production keyword rules, a TF-IDF + logistic-regression baseline, local typed decision models (Tev1, Nimble), a hosted decision model (Nimble v4-max), and hosted generative LLMs (Qwen2.5-7B, Gemma 4 26B/31B). Four results. The production rules score 28% on message type against a 58% majority class: the field shown most prominently carried no information. With ~200 labels, logistic regression has the highest accuracy on every field (type 0.79, urgency 0.74, needs-reply 0.83, is-noise 0.90), though it never predicts the two rarest classes and is statistically tied with Gemma 4 on type; few-shot prompting does not close the gap. The sender's relationship (client, supplier, service) is recovered from other emails of the same contact with 98.6% accuracy where the contact has been seen, and is not inferable from a single message by any model: it belongs in the contact graph, not the prompt. Finally, accuracy is not the product metric: composed into actions, the most accurate system most often ignores emails needing action (18% vs 4% for the best LLM); a cost-chosen threshold on its noise probability halves that rate and makes it the cheapest system.
• Abstract（参考訳）: 個人メールエージェントは、メッセージごとに、それが何であるか、緊急かどうか、返信の起草、タスクの作成、無視かを判断する。 保存されたラベルはシステム自身によって書かれていた。 本稿では, 自己ホスト型個人受信箱エージェントであるFoyerについて紹介する。また, トレーニング前に基礎的真実をもたらす計測プロトコル(ストレートサンプリング, 凍結スナップショット, スレッドグループ分割, 事前に登録された仮説, エージェントのレビューループ内の人間ラベル)を提示する。 生成キーワードルール,TF-IDF+ロジスティック回帰ベースライン,ローカル型決定モデル (Tev1, Nimble),ホスト型決定モデル (Nimble v4-max),ホスト型生成LDM (Qwen2.5-7B, Gemma 4 26B/31B) の9つのシステムを比較した。 4つの結果。 生産ルールは58%の多数派に対してメッセージタイプで28%のスコアを得た。 約200のラベルでは、ロジスティック回帰はすべてのフィールドで最高精度(0.79、緊急度0.74、必要応答0.83、イズノイズ0.90)を持つが、2つのレアなクラスを予測せず、Gemma 4と統計的に結びついている。 送信者の関係(クライアント、サプライヤー、サービス)は、同一の連絡先の他の電子メールから98.6%の精度で回収され、どのモデルでも単一のメッセージから推測できない。 アクションで構成された最も正確なシステムは、アクションを必要とする電子メールを無視する(最高のLCMでは18%対4%)。

関連論文リスト

• Evaluating Decision Models for Text Annotation in Computational Social Science [0.7792020418343021]
  決定モデルは、選択された型付き質問、ラベルセット上の確率分布、自由テキストよりも信頼スコアに答える。 最初の商用決定モデルと2つのオープンウェイトな決定モデルと、19のフロンティアとオープンウェイトな言語モデルを比較します。 我々の結果は、決定モデルがアノテーションパイプラインの第一歩として有用であることを示唆している。
  論文  参考訳（メタデータ） (2026-09-21T13:41:54Z)
• Message capacity and claim wording set the transition points of collective truth-finding in language-model networks [0.0]
  集合の運命は、クレームのワードセットのしきい値と、遷移点を設定するメッセージキャパシティの2つの単一エージェント測定によって決定される。
  論文  参考訳（メタデータ） (2026-09-15T14:46:31Z)
• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• Guardrail-Agnostic Societal Bias Evaluation in Large Vision-Language Models [46.12812175336961]
  大規模視覚言語モデル(LVLM)のための社会的バイアス評価手法を提案する。 本手法はガードレール付きLVLMであっても拒絶を回避し,信頼性の高いバイアス測定を可能にする。 最新の20のLVLMに適用すると、すべてのモデルが、人間に関係のないタスクにおいて、ユーザー人口統計情報を好ましくは使わないことが分かる。
  論文  参考訳（メタデータ） (2026-08-30T06:22:16Z)
• One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions [0.0]
  APIアグリゲータ、再販業者、推論プロバイダは、大きな言語モデル(LLM)を使用する。 既存の識別技術には、長いテキスト、トークンレベルのログ確率、反対に作られたプロンプト、またはモデル所有者の協力が必要である。 我々は,LLMの行動指紋を,自明なワンワードプロンプトに対する応答の実証的分布として定義する。
  論文  参考訳（メタデータ） (2026-07-11T10:34:17Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
  信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。 異なるデータ条件に合わせた2つの学習方法を提案する。 この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
  論文  参考訳（メタデータ） (2025-09-30T20:36:41Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Classifying Emails into Human vs Machine Category [0.6614418593039343]
  Yahoo Mailは個人メールと機械メールを区別するために必須の製品である。 メッセージレベルでのディープラーニングモデルの構築を提案する。 この完全なモデルは、現在の運用システムにデプロイされています。
  論文  参考訳（メタデータ） (2021-12-14T20:55:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。