論文の概要: Wnuan: Staged Post-Training for Question Answering over Proprietary Enterprise Knowledge
- arxiv url: http://arxiv.org/abs/2608.01862v1
- Date: Mon, 03 Aug 2026 08:11:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.39438
- Title: Wnuan: Staged Post-Training for Question Answering over Proprietary Enterprise Knowledge
- Title(参考訳): Wnuan: プライエタリな企業知識に関する質問に対して,段階的な調査を実施
- Abstract要約: Wnuanは文書からタスク指向の監視を構築する3段階のパイプラインである。
707-questionのWnuanBenchでは、32B経路が52.76%から52.76%に上昇し、SFT後80.06%、RL後91.51%に適応した。
- 参考スコア(独自算出の注目度): 7.4253318607352155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise question answering requires models to acquire proprietary knowledge without discarding general capabilities. We present Wnuan, a three-stage pipeline that constructs task-oriented supervision from documents, performs supervised fine-tuning with general-data replay, and applies reinforcement learning to residual errors. On the 707-question WnuanBench, the primary 32B route raises acceptable-answer rate (AAR) from 52.76% before adaptation to 80.06% after SFT and 91.51% after RL. Under a matched 100-update protocol, residual-error sampling outperforms full-pool and size-matched random sampling by 3.11 and 2.97 points, respectively. Source-cluster bootstrap intervals remain above zero for both contrasts, and a same-domain validation set preserves the ordering. The general-benchmark average decreases by 5.17 points across the route, concentrated in instruction following. The automatic evaluation ensemble agrees with an authoritative domain expert on 90.5% of a stratified Wnuan-Inst response sample. These results characterize both the gains and the general-capability cost of staged enterprise adaptation.
- Abstract(参考訳): エンタープライズの質問に答えるには、汎用能力を捨てることなくプロプライエタリな知識を取得するモデルが必要である。
本稿では,文書からタスク指向の監視を構築する3段階パイプラインであるWnuanについて述べる。
707-questionのWnuanBenchでは、32B経路が52.76%から52.76%に上昇し、SFT後80.06%、RL後91.51%に適応した。
一致した100更新プロトコルでは、残留エラーサンプリングはフルプールとサイズマッチングされたランダムサンプリングをそれぞれ3.11と2.97ポイント上回る。
ソースクラスタのブートストラップ間隔は両方のコントラストで0以上であり、同じドメインの検証セットが順序を保つ。
一般ベンチマークの平均はルート全体で5.17ポイント減少し、その後の指示に集中している。
自動評価アンサンブルは、成層Wnuan-Inst応答サンプルの90.5%の権威ドメイン専門家と一致している。
これらの結果は、段階的企業適応の利益と汎用コストの両方を特徴付ける。
関連論文リスト
- Accuracy Is Not Service: A Decision-Aware Benchmark for Intermittent-Demand Forecasting [4.1751058176413105]
古典的、断続的、機械学習、ディープラーニング、事前訓練された基礎モデルにまたがる38の予測手法をベンチマークした。
予測精度ランクと注文サービスランクは、20,330の実際のマルチイテムオーダーで評価された手法に対して、工業パネルにおいて-0.555で負の相関関係を持つ。
断続的な需要に対しては、最も低いエラー予測は最高のサービスを提供する必要はない。
論文 参考訳(メタデータ) (2026-09-12T09:51:30Z) - From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳(メタデータ) (2026-09-01T17:39:26Z) - Guaranteed Adaptive Modality Acquisition: When the Policy Chooses Its Own Calibration Group [0.0]
マルチモーダルシステムは、入力のいくつかのみを保持する推論を開始し、残りをコストで取得することができる。
パターン条件保証が有効であり続けると特徴付け、2つの有限サンプル構成を与える。
逆例は、カリブレーション非依存のグルーピングマップに対して証明された保証が、ポリシーが端末群キャリブレーションに依存した場合、転送する必要はないことを示している。
論文 参考訳(メタデータ) (2026-08-16T04:19:31Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳(メタデータ) (2026-07-30T16:22:13Z) - Where Does Agent Reliability Come From? A Cross-Benchmark Decomposition of Verification Loops, Specialist Models, and Scaffolding in a Production Enterprise Agent [0.0]
アーキテクチャが検証ループをインストールする1つのプロダクションシステムについて検討する。
ループの端から端までを計測し、経験的検証器混同行列を生成する。
論文 参考訳(メタデータ) (2026-07-19T03:20:33Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - SEVA: Self-Evolving Verification Agent with Process Reward for Fact Attribution [6.908637308550535]
SEVAは、エビデンスアライメント、ステップバイステップの推論チェーン、キャリブレーションされた信頼度、6カテゴリのエラー診断を発行する構造化検証エージェントである。
ClearFacts では、SEVA-3B は GPT-4o-mini (69.0 vs. 69.8 F1) と一致し、よりリッチで監査可能な出力を生成する。
論文 参考訳(メタデータ) (2026-06-29T02:37:13Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳(メタデータ) (2026-06-04T05:43:12Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳(メタデータ) (2026-06-02T06:58:54Z) - Compliance-Scored Best-of-N Guardrail Orchestration for Multimodal Document Generation in Payments Dispute Defense [0.0]
企業文書の大量生成には、財務紛争の物語、コンプライアンス通知、監査要約が含まれる。
統一されたガードレール層の前に、プロダクションシステムはしばしば別々のPIIリアクション、コンテンツモデレーション、フォーマット検証ステップを縫い合わせていた。
本稿では,テキストと画像入力のためのガードレールオーケストレーションレイヤを提案する。
論文 参考訳(メタデータ) (2026-06-01T00:24:30Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳(メタデータ) (2026-05-17T07:08:14Z) - Ask Early, Ask Late, Ask Right: When Does Clarification Timing Matter for Long-Horizon Agents? [0.7199239000118145]
本稿では,エージェントの軌道の制御点における接地真実の明確化を提供する強制注入フレームワークを提案する。
明確化の価値は、どの情報が欠落しているかに大きく依存している。
300のセッションを補完する研究により、現在のフロンティアモデルは経験的に最適なウィンドウ内では問わないことが明らかになった。
論文 参考訳(メタデータ) (2026-05-08T16:08:03Z) - TEMPO: Scaling Test-time Training for Large Reasoning Models [87.61789183311856]
テストタイムトレーニング(TTT)は、推論時間中にラベルのないテストインスタンスにモデルパラメータを適用する。
TTTフレームワークであるTEMPOを提案する。これは、ラベル付きデータセット上で定期的な批評家の再検討を行い、ラベル付き質問に対するポリシー修正をインターリーブする。
論文 参考訳(メタデータ) (2026-04-21T10:01:04Z) - VAULT: Vigilant Adversarial Updates via LLM-Driven Retrieval-Augmented Generation for NLI [15.320553375828045]
VAULTは、NLIモデルの弱点を発見し、改善する完全に自動化された対向的なRAGパイプラインである。
VAULTはデータセット間で、従来よりも最大で2.0%パフォーマンスが向上している。
論文 参考訳(メタデータ) (2025-08-01T14:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。