論文の概要: From Preferences to Principles: Rubric-Based Alignment for Grounded Knowledge Answers

• arxiv url: http://arxiv.org/abs/2608.23812v1
• Date: Mon, 24 Aug 2026 20:27:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.578032
• Title: From Preferences to Principles: Rubric-Based Alignment for Grounded Knowledge Answers
• Title（参考訳）: 前提から原則へ:基礎知識回答のためのルーブリックに基づくアライメント
• Abstract要約: 本稿では,検索された証拠に埋もれたクエリ固有のルーリックを生成するルーリックベースの報奨フレームワークを提案する。 提案手法は命令調整ベースラインを6.5%改善し,フラットなルーリック変種を4%改善し,すべての評価データセットに対して一貫した利得を得た。
• 参考スコア（独自算出の注目度）: 4.677258610128526
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Designing effective reward signals for open-domain question answering is challenging because high-quality responses must simultaneously satisfy multiple aspects of answer quality that are difficult to capture with a holistic scalar objective. We introduce a rubric-based reward framework that generates query-specific rubrics grounded in retrieved evidence and decomposed into multiple quality dimensions, providing fine-grained supervision during post-training. Averaged across three evaluation axes (composition, grounding, and instruction-following), our approach improves over the instruction-tuned baseline by 6.5% and over flat rubric variants by 4%, with consistent gains across all evaluation datasets. Conditioning rubrics on retrieved evidence improves factual support, while decomposing rubrics into quality-specific dimensions further improves coherence, organization, and adherence to query requirements. Our results show that grounded, multi-dimensional rubrics provide more effective reward supervision for complex open-domain question answering.
• Abstract（参考訳）: 開放領域質問応答のための効果的な報酬信号の設計は、高品質な応答は、全体論的スカラー目的で捉えるのが難しい応答品質の複数の側面を同時に満たさなければならないため、困難である。 本稿では,検索された証拠に埋もれ,複数の品質次元に分解されたクエリ固有のルーリックを生成するルーリックベースの報奨フレームワークについて紹介する。 提案手法は, 3つの評価軸(合成, 接地, 命令追従)を平均して, 命令調整ベースラインを6.5%, 平坦なルーリック変種を4%改善し, 全評価データセットに対して一貫した利得を得た。 検索された証拠に対するルーブリックの条件付けは、現実的なサポートを改善する一方で、ルーブリックを品質固有の次元に分解することで、一貫性、組織化、クエリ要求への順守をさらに改善する。 以上の結果から, 複雑な開領域質問応答に対して, 基礎的, 多次元のルーリックがより効果的に報酬を付与できることが示唆された。

関連論文リスト

• QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards [68.15832368034815]
  クエリとルーブリックを共同設計するフレームワークを提案する。 QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。
  論文  参考訳（メタデータ） (2026-06-02T17:53:04Z)
• Prompt-Level Reward Specifications for Open-Ended Post-Training [43.215398565987265]
  訓練後のオープンエンドのメリットは、迅速な成功条件を明確にする報酬である。 本稿では、報酬仕様と報酬仕様を分離するプロンプトレベル報酬仕様フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-28T02:52:06Z)
• MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome [109.15093810810214]
  MiroEvalはディープリサーチシステムのベンチマークおよび評価フレームワークである。 ベンチマークは、実際のユーザニーズに基づいて100のタスクで構成されている。 提案した評価スイートは3つの相補的な次元に沿って深層研究システムを評価する。
  論文  参考訳（メタデータ） (2026-03-30T13:16:03Z)
• Augmenting Question Answering with A Hybrid RAG Approach [10.99985378187219]
  Retrieval-Augmented Generation (RAG) は質問応答(QA)タスクにおける応答の質を高める強力な手法として登場した。 本稿では,クエリ拡張,エージェントルーティング,構造化検索機構を統合し,QA品質を向上させるハイブリッドアーキテクチャであるStructured-Semantic RAG(SSRAG)を紹介する。
  論文  参考訳（メタデータ） (2026-01-19T02:08:47Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Semantic Certainty Assessment in Vector Retrieval Systems: A Novel Framework for Embedding Quality Evaluation [0.0]
  ベクトル検索システムは、不均一な埋め込み品質のため、クエリ間で大きな性能ばらつきを示す。 本稿では,量子化ロバストネスと近傍密度のメトリクスを組み合わせることで,クエリレベルでの検索性能を予測するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-08T12:33:11Z)
• Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG [51.120170062795566]
  本稿では,問合せが知識境界外にある場合の"I don't know"で応答する機能を備えたRAGシステムを実現するためのDTAを提案する。 DTAは適切な棄権と精度のバランスをとり、検索強化システムの信頼性と信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-27T08:21:21Z)
• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Reranking Overgenerated Responses for End-to-End Task-Oriented Dialogue Systems [71.33737787564966]
  エンド・ツー・エンド(E2E)タスク指向対話システム(ToD)は、いわゆる「いいね! 本稿では,システムによって当初過剰に生成された応答リストから高品質な項目を選択する方法を提案する。 本研究では,最先端のE2E ToDシステムを2.4BLEU,3.2ROUGE,2.8 METEORで改善し,新たなピーク値を得た。
  論文  参考訳（メタデータ） (2022-11-07T15:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。