論文の概要: CLAIM: Leading Open-domain Active Clarification of Large Language Models with Uncertainty Measurement
- arxiv url: http://arxiv.org/abs/2608.11631v1
- Date: Wed, 12 Aug 2026 04:27:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.448337
- Title: CLAIM: Leading Open-domain Active Clarification of Large Language Models with Uncertainty Measurement
- Title（参考訳）: CLAIM:不確実性測定による大規模言語モデルのオープンドメイン能動的解明
- Abstract要約: CLAIMは、オープンドメイン環境でのアクティブな明確化学習のための不確実性駆動フレームワークである。
本研究では,不確実性推定とセマンティッククラスタリングと推論に基づく判断を統合したエントロピー駆動型合成データ生成パイプラインを提案する。
実験の結果,手動でラベル付けしたデータに頼ることなく,CLAIMが安定かつ一般化可能な明確化戦略を学習できることが確認された。
- 参考スコア（独自算出の注目度）: 50.91045324738942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In open-domain human-computer interaction scenarios, large language models (LLMs) frequently encounter user queries that are ambiguous or incomplete. In such cases, directly producing an answer often leads to overgeneralized, erroneous, or low-information responses. In contrast, asking clarifying questions can substantially improve interaction quality. However, existing approaches still rely heavily on manually annotated data or preference alignment to address two fundamental challenges: when clarification is necessary, and which aspect of the query should be clarified. This reliance incurs high annotation costs and limits generalization. To address these challenges, we propose CLAIM, an uncertainty-driven framework for active clarification learning in open-domain settings. CLAIM eliminates the need for explicit human preference annotations by quantifying query uncertainty through the entropy induced by answer disagreements across multiple models. This uncertainty signal is then used to construct high-quality synthetic data, enabling the training of a unified clarification decision model through a combination of supervised learning and reinforcement learning. Specifically, we propose an entropy-driven synthetic data generation pipeline that integrates entropy-based uncertainty estimation with semantic clustering and reasoning-based judgments, enabling reliable automatic annotation of clarification requirements. To train CLAIM, we formulate the clarification process as a structured decision generation problem and adopt a training paradigm that combines supervised fine-tuning (SFT) with group-relative policy optimization (GRPO). Experimental results demonstrate that CLAIM can learn stable and generalizable clarification strategies without relying on manually labeled data, offering a low-cost and robust solution for proactive understanding in real-world open-domain interactions with LLMs.
- Abstract（参考訳）: オープンドメインのヒューマンコンピュータインタラクションのシナリオでは、大きな言語モデル(LLM)は曖昧で不完全なユーザクエリに頻繁に遭遇する。
このような場合、直接答えを生成すると、過度に一般化された、誤った、あるいは低情報応答につながることが多い。
対照的に、質問を明確にすることで、相互作用の品質が大幅に向上する。
しかしながら、既存のアプローチは、明確化が必要な場合と、クエリのどの側面を明確にする必要があるかという2つの基本的な課題に対処するために、手動でアノテートされたデータやリフレクションアライメントに大きく依存しています。
この依存は高いアノテーションコストをもたらし、一般化を制限する。
これらの課題に対処するため、オープンドメイン環境での能動的明確化学習のための不確実性駆動型フレームワークであるCLAIMを提案する。
CLAIMは、複数のモデルにまたがる回答の不一致によって引き起こされるエントロピーを通じてクエリの不確実性を定量化することで、明示的な人間の嗜好アノテーションの必要性を排除している。
そして、この不確実性信号を用いて高品質な合成データを構築し、教師付き学習と強化学習を組み合わせた統合的明確化決定モデルの訓練を可能にする。
具体的には,エントロピーに基づく不確実性推定とセマンティッククラスタリングと推論に基づく判断を統合した,エントロピー駆動型合成データ生成パイプラインを提案する。
CLAIMをトレーニングするために、構造化決定生成問題として明確化プロセスを定式化し、教師付き微調整(SFT)とグループ相対ポリシー最適化(GRPO)を組み合わせたトレーニングパラダイムを採用する。
実験の結果, CLAIMは手動でラベル付けされたデータに頼ることなく, 安定かつ一般化可能な明確化戦略を学習し, 実世界のLLMとのオープンドメイン相互作用を積極的に理解するための, 低コストで堅牢なソリューションを提供することがわかった。
関連論文リスト
- Ask Before You Optimize: Dynamic Pre-Formulation Clarification for Interactive Optimization [11.777689650316232]
本稿では,事前定式化のためのベンチマークであるOR-Clarifyを紹介する。
本稿では,未解決な定式化クリティカルギャップを識別する2段階フレームワークInterOPTを提案する。
論文 参考訳（メタデータ） (2026-09-04T15:19:38Z) - Interpretable Uncertainty for Adaptive Retrieval and Reasoning in Question Answering [11.42036728689981]
大規模言語モデル(LLM)は質問応答(QA)において高いパフォーマンスを達成するが、幻覚に苦しむ傾向にあり、透明性が制限されている。
LLMの内部表現から派生した明示的な信号に基づく適応型QAのための不確実性認識フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-08T13:12:39Z) - PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning [0.0]
不完全情報の下では、モデルが解答、解答、Ask、Abstainを判断しなければならない。
本稿では,教師付き微調整によりモデル行動と情報満足度を整合させる3つのアクション・フレームワークであるPassiveQAを提案する。
提案手法は,構造化情報状態表現,知識グラフ基底コンテキスト,および不足変数と決定推論を明示的にモデル化した微調整プランナーを統合する。
論文 参考訳（メタデータ） (2026-04-06T09:54:16Z) - KBQA-R1: Reinforcing Large Language Models for Knowledge Base Question Answering [64.62317305868264]
テキスト模倣から強化学習によるインタラクション最適化へパラダイムをシフトするフレームワークである textbfKBQA-R1 を提案する。
KBQAを多ターン決定プロセスとして扱うことで,行動のリストを用いて知識ベースをナビゲートすることを学ぶ。
WebQSP、GrailQA、GraphQuestionsの実験では、KBQA-R1が最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-12-10T17:45:42Z) - Teaching Language Models To Gather Information Proactively [53.85419549904644]
大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。
本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。
キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。
このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
論文 参考訳（メタデータ） (2025-07-28T23:50:09Z) - Federated In-Context Learning: Iterative Refinement for Improved Answer Quality [62.72381208029899]
In-context Learning (ICL) では、入力に提供される例を活用することで、パラメータを変更することなく、言語モデルで応答を生成することができる。
我々は,反復的協調プロセスを通じてICLを強化する汎用フレームワークであるFederated In-Context Learning (Fed-ICL)を提案する。
Fed-ICLは、クライアントと中央サーバ間のマルチラウンドインタラクションを活用することで、応答を徐々に洗練し、モデルパラメータを送信することなく、応答品質を向上させる。
論文 参考訳（メタデータ） (2025-06-09T05:33:28Z) - Clarifying Ambiguities: on the Role of Ambiguity Types in Prompting Methods for Clarification Generation [5.259846811078731]
我々は、明確化のためのあいまいさの概念に注目し、明確化プロセスにおいてあいまいさをモデル化し統合することを模索する。
我々はこの新しいプロンプトスキームをAmbiguity Type-Chain of Thought (AT-CoT)と名付けた。
論文 参考訳（メタデータ） (2025-04-16T14:21:02Z) - Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。
本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。
本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
論文 参考訳（メタデータ） (2024-07-20T11:19:58Z) - From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。
本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。
実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
論文 参考訳（メタデータ） (2023-10-22T16:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。