論文の概要: Quality-Controlled Reply and Summary Data for Post-Training Small Language Models in AI Call-Screening Agents

• arxiv url: http://arxiv.org/abs/2610.25458v1
• Date: Sun, 18 Oct 2026 18:42:26 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:28:57.242275
• Title: Quality-Controlled Reply and Summary Data for Post-Training Small Language Models in AI Call-Screening Agents
• Title（参考訳）: AIコールクリーニングエージェントにおける学習後小言語モデルの品質制御と概要データ
• Abstract要約: 小型の言語モデルは、電話機が自分の通話を確実にスクリーニングできるレベルまで改善された。 小さなモデルでは確実な信頼性が得られない - 通常の呼び出し元に対して不当な警告を発し、材料条件を落とし、呼び出し元の主張を事実として報告する要約を書く。 我々は、情報境界制約の下で、合成呼び出しから両方のタスクの監視を構築する。 完全な対話のモデルベースのレビューと要約は、どの呼び出しを入力トレーニングにするかを決定し、コーパスは3,395コール、ターゲットは15,102である。
• 参考スコア（独自算出の注目度）: 4.887287385972146
• License:
• Abstract: Small language models have improved to the point where a phone can plausibly screen its own calls, answering on an absent owner's behalf without sending call content off the device, a privacy-respecting alternative to cloud call handling. Realizing that promise takes a model that can do two things well: reply within the owner's authority during the call, and afterward tell the owner what happened and what needs attention. Released small models do neither reliably - they raise unwarranted alarms about ordinary callers and write summaries that drop material conditions or report a caller's claims as fact - and real calls supply no reference replies or summaries to learn from. We construct supervision for both tasks from synthetic calls under an information-boundary constraint: a caller writer works from a private scenario brief, a reply writer sees only the conversation up to the current turn, and a summary writer sees the completed transcript. Separate model-based reviews of the full dialogue and the summary decide which calls enter training, yielding a corpus of 3,395 calls with 15,102 targets (11,707 reply, 3,395 summary). Training a single shared LoRA adapter on both tasks, we evaluate six models (0.6-4B parameters) before and after adaptation on 192 held-out calls. Reply qualification rises from 21-54% to 94-97% and summary qualification from 0-6% to 43-72%; all twelve paired gains (six models x two tasks) have bootstrap intervals above zero, and the summary gains hold in every source family. Because one model both screened the training data and scored the outputs, these rates measure agreement with that evaluator's standard rather than human acceptance, which a planned human study will test. After adaptation, coherence and naturalness failures nearly vanish, leaving grounding and usefulness - faithfully tracking who said what, under which conditions - as the remaining challenge.
• Abstract（参考訳）: 小型の言語モデルは、携帯電話が自分の通話を確実にスクリーニングできるところまで改善され、クラウドコール処理に代わるプライバシーを尊重する代替手段である、デバイスからコールコンテンツを送ることなく、不在の所有者に代わって応答する。 その約束を実現するには,2つのことをうまく実行可能なモデルが必要だ – 呼び出し中にオーナの権限内で返信し,その後に何が起きたのか,何に注意が必要なのかをオーナに伝える。 リリースされた小さなモデルは、確実なものではない - 通常の呼び出し元について不確実な警告を発し、物質的条件を落とし、呼び出し元の主張を事実として報告する要約を書きます - そして、実際の呼び出しは、そこから学ぶための参照応答や要約を提供しません。 我々は,情報境界制約下での合成コールから,双方のタスクの監視を構築する。発信者はプライベートシナリオブリーフから作業し,応答ライターは会話のみを現在の順番まで,要約ライターは完了した書き起こしを見ることができる。 完全な対話のモデルベースのレビューと要約は、どの呼び出しを入力トレーニングにするかを決定し、15,102のターゲットを持つ3,395のコーパスを出力する(11,707の応答、3,395の要約)。 両タスクで1つのLoRAアダプタを訓練し,192コールの適応前後に6つのモデル(0.6-4Bパラメータ)を評価した。 リプライ資格は21-54%から94-97%に上昇し、サマリ資格は0-6%から43-72%に上昇する。 1つのモデルがトレーニングデータをスクリーニングし、アウトプットをスコアしたので、これらのレートは、人間の受け入れではなく、評価者の標準との合意を測る。 適応後、一貫性と自然さの失敗はほぼ消滅し、根拠と有用性 - 誰がどの条件の下で何を言ったのかを忠実に追跡する — が残る課題となった。

関連論文リスト

• JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
  大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。 ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。 AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。 次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
  論文  参考訳（メタデータ） (2026-10-15T07:27:08Z)
• Measuring and Reducing Unusable Replies of LLM Agents [31.60669924490176]
  人々はLLMエージェントにマルチステップの作業を委譲し、エージェントが返した返信のみを読みます。 現在の評価では、タスク完了とレポートの忠実度をスコアし、要求者が応答を理解して利用できるかどうかを公開している。 我々は、このプロパティ応答のユーザビリティを、要求者の位置を判断するリーダーモデルで測定し、要求者が見たものから応答が解釈可能かどうかをテストし、要求者の言語で応答する。
  論文  参考訳（メタデータ） (2026-10-14T06:35:49Z)
• MTVA-Bench: Evaluating the Language Model Inside Cascaded Voice Agents [0.7611870296994722]
  そこで, MTVA-Bench (Multi-Turn Voice Agent Benchmark) を提案する。 ベンチマークには49のエージェントが含まれ、レビューされた490のシナリオで動作し、7つの言語をサポートする。 7つのモデルによる調査では、6つのモデルがそれぞれの6.4ポイント以内で正しいツールを選択するが、全体的なスコアは24.4ポイントである。
  論文  参考訳（メタデータ） (2026-09-17T12:44:03Z)
• Not All Fallbacks Are Failures: Understanding and Recovering from Fallbacks in Mobile Voice Assistants [50.58363289248172]
  日常環境における一般的な健康支援のためのスマートウォッチベースの音声アシスタントのフォールバックハンドリングについて検討した。 私たちの分析は,500人以上のユーザの実世界利用データに基づいて,匿名化された3,030件のデータセットを作成した。
  論文  参考訳（メタデータ） (2026-08-31T13:06:42Z)
• ProactBench: Beyond What The User Asked For [5.422521416406412]
  ProactBenchは、textscEmergent、単一の公開アンカーからの推論、textscCritical、複数のアンカー間での合成、textscRecovery、タスク完了後の前方にある値の3つのフェーズ型に分解する。 我々の情報アシンメトリーは、スタイル強調スコア、漏洩、外部コンテキスト汚染、情報ダンプに対して防御します。
  論文  参考訳（メタデータ） (2026-05-09T23:56:04Z)
• Useless but Safe? Benchmarking Utility Recovery with User Intent Clarification in Multi-Turn Conversations [32.23729177914094]
  我々は,LCMがユーザ意図の解釈を改訂し,有用性を回復できるかどうかを計測する初の対話型ベンチマークであるCarryOnBenchを紹介する。 ユーザ追跡シーケンスの異なる5,970の会話をシミュレートし,意図整合性と安全性の両面で14のモデルを評価する。 CarryOnBenchは、4-12ターンで1,866の異なる会話フローを生成し、合計で23,880のモデル応答を生成する。
  論文  参考訳（メタデータ） (2026-04-29T18:37:18Z)
• Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
  後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。 本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
  論文  参考訳（メタデータ） (2022-10-10T05:51:40Z)
• Developing a Production System for Purpose of Call Detection in Business Phone Conversations [1.4450257955652834]
  本稿では,英語のビジネスコール記述文中のPurpose of Call文をリアルタイムに検出する商用システムの実装について述べる。 本稿では,一連のルールからニューラルモデルへブートストラップすることで,豊富なトレーニングデータを収集する手法について議論する。 このモデルは実生活データでテストした場合、様々なタイプのビジネスコールで平均88.6 F1を達成し、推論時間も低い。
  論文  参考訳（メタデータ） (2022-05-13T21:45:54Z)
• A Controllable Model of Grounded Response Generation [122.7121624884747]
  現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。 我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。 このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T21:22:08Z)
• Improving Factual Consistency Between a Response and Persona Facts [64.30785349238619]
  応答生成のためのニューラルネットワークは、意味論的に妥当であるが、必ずしも話者のペルソナを記述する事実と矛盾しない応答を生成する。 我々は,これらのモデルを強化学習により微調整し,応答とペルソナ事実の一貫性と意味的妥当性を明確に把握する効率的な報酬関数を提案する。
  論文  参考訳（メタデータ） (2020-04-30T18:08:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。