論文の概要: LAVOIR: Teaching a Single-Pass Decision Encoder When and What to Ask with Amortized Value of Information
- arxiv url: http://arxiv.org/abs/2609.30706v1
- Date: Fri, 25 Sep 2026 02:31:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.188073
- Title: LAVOIR: Teaching a Single-Pass Decision Encoder When and What to Ask with Amortized Value of Information
- Title（参考訳）: LAVOIR: 情報の記憶価値をいつ、何に問うべきかを単一パス決定エンコーダで教える
- Abstract要約: LAVOIRでは,解答オプションの隣の入力に欠落した情報(スロット)の候補を配置する。
見えるスキーマの決定はベイズ天井と統計的に区別できない。
ABCDの実際の会話では、LAVOIRが要求する8.3ポイントの精度が向上し、そうでなければそのままにしておく。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: "System One" decision models such as TypeSafe's Jev and its open counterpart Laya answer typed questions about a text in a single forward pass with calibrated probabilities, but they cannot ask for missing information: when a first message does not say what separates two departments, they guess. We present LAVOIR (Laya with Value-Of-Information Routing), which places the candidate pieces of missing information (slots) in the input next to the answer options, so that one forward pass returns both the decision distribution and, for every slot, the expected gain in the probability of the correct decision if the user were asked about it. VOI targets need no human labels: gold decisions come from schema rules, an LLM only verbalizes messages and answers, a model from another family checks every text, and pairing each message with several profiles makes regression on realized gains estimate the expected gain. A Gini-impurity cap bounds the predicted value by what a calibrated model can still gain. In a controlled study, decisions on seen schemas are statistically indistinguishable from the Bayes ceiling. The final model's question policy matches a greedy oracle VOI policy on seen schemas (AUC 0.799 vs. 0.797), and with at most 0.5 questions per conversation it is 14.1 points more accurate than never asking. On real ABCD conversations, one real exchange raises accuracy by 8.3 points where LAVOIR asks and leaves it unchanged where it does not; on SGD the cap lowers the asking rate from 93% to 8.6%. On Laya's twelve benchmarks LAVOIR is above Laya's reported scores on seven, and it answers a question in 31 ms (median, GH200).
- Abstract（参考訳）: TypeSafeのJevや、そのオープンなLayaのような"System One"決定モデルでは、校正された確率で1つのフォワードパス内のテキストに関する型付き質問に回答する。
本稿では,LAVOIR(Laya with Value-Of-Information Routing)を提案する。LAVOIR(Laya with Value-Of-Information Routing)は,解答オプションの隣の入力に,欠落した情報(スロット)の候補を配置する。
金の判定はスキーマルールから行われ、LLMはメッセージと回答のみを動詞化し、他の家族のモデルはすべてのテキストをチェックし、各メッセージと複数のプロファイルをペアリングすることで、実際の利得の回帰が期待される利得を見積もる。
ギニ不純物キャップは、キャリブレーションされたモデルがまだ得ることのできる値によって予測値を束縛する。
制御された研究では、見えるスキーマに関する決定はベイズ天井と統計的に区別できない。
最終モデルの質問ポリシーは、見慣れたスキーマ(AUC 0.799 vs. 0.797)上の欲張りのオラクルVOIポリシーと一致する。
実際のABCDでの会話では、LAVOIRが要求する8.3ポイントの精度が上昇し、そうでないところをそのままにしておく。
ラヤの12のベンチマークでは、LAVOIRはラヤの報告したスコアの7点を上回り、31ミリ秒(中間値、GH200)で答える。
関連論文リスト
- JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。
ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。
Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
論文 参考訳（メタデータ） (2026-09-25T11:32:19Z) - When and How Should an Agent Clarify? CIGAsk: Teaching LLMs to Clarify via Counterfactual Information Gain [73.2163413577971]
そこで本研究では,回答よりも質問するタイミングと,不明瞭な情報を回復する質問を行う方法という,2つのスキルを教えるレシピを提案する。
不斉あいまいさボーナスは、金のあいまいさラベルに基づいて署名された報酬を端末トークンに割り当て、いつ尋ねるかを案内する。
また、データ単位のチューニングなしでデータセット間で転送し、アウト・オブ・ディストリビューションのベンチマークでシングルターンのQAパフォーマンスを保存する。
論文 参考訳（メタデータ） (2026-09-21T08:47:39Z) - Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks [0.0]
複数選択のベンチマークは、モデルが正しい選択肢を選ぶかどうか、質問が必要なかどうかで評価される。
UA-JudgeExam: 11,990件の4つのオプション項目を公式キーで測定し、ウクライナの高等審査委員会(Higher Qualification Commission of Judges)が公表した。
11.8%のアイテムは、偶然に予想される0.2項目に対して、8つのオプションのすべてで盲目で答えられる。
論文 参考訳（メタデータ） (2026-08-15T22:11:00Z) - None of the Others: a General Technique to Distinguish Reasoning from Memorization in Multiple-Choice LLM Evaluation Benchmarks [0.9831489366502301]
本稿では,これまで見られたトークンや概念から正解を完全に解離する,複数選択質問に対する一般的な変分手法を提案する。
この手法を用いて、英語とスペイン語で利用可能な2つのデータセットに基づいて、最先端のプロプライエタリおよびオープンソースLLMを評価する。
その結果, MMLUでは平均57%, UNED-Access 2024では50%の精度低下がみられた。
論文 参考訳（メタデータ） (2025-02-18T14:32:44Z) - Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。
その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
論文 参考訳（メタデータ） (2023-10-09T16:57:57Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳（メタデータ） (2023-06-14T21:22:01Z) - Realistic Conversational Question Answering with Answer Selection based
on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。
本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。
我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文 参考訳（メタデータ） (2023-02-10T09:42:07Z) - Reliable Visual Question Answering: Abstain Rather Than Answer
Incorrectly [100.60560477391732]
我々は、信頼性のある視覚的質問応答(VQA)のための問題定式化を促進する。
私たちは、彼らのカバレッジ、回答された質問の一部、そしてその部分のエラーの両方を分析します。
最高のパフォーマンスモデルは、VQA v2データセットで71%以上の精度を達成するが、そのオプションを導入することで、低いエラー(1%)のリスクを達成するために、8%未満の質問に答えることが制限されることがわかった。
これにより、マルチモーダル選択関数を用いて、予測された回答の正しさを直接推定し、例えば5.0%から16.7%のカバレッジを3倍にすることができることを示す。
論文 参考訳（メタデータ） (2022-04-28T16:51:27Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳（メタデータ） (2020-06-16T19:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。