論文の概要: Learning What to Ask and What to Believe: Distilling a Variational Bayesian Agent into Language Models
- arxiv url: http://arxiv.org/abs/2611.01245v1
- Date: Sat, 31 Oct 2026 20:16:04 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:02:48.772042
- Title: Learning What to Ask and What to Believe: Distilling a Variational Bayesian Agent into Language Models
- Title（参考訳）: 問うべきことと信じるべきこと:変分ベイズ的エージェントを言語モデルに蒸留する
- Abstract要約: 逐次的変分信念とEIGクエリ選択を持つ軽量ベイズエージェントを8B言語モデルに蒸留可能であることを示す。
我々は,教師とベンチマークと微調整学生のエピソードの合成インタラクションを生成し,そのクエリとその信念状態を構造化されたスクラッチパッドとして再現する。
3つのマルチTurn Puzzlesタスクでは、学生はサーキット・デコーディングを0.00から0.93に引き上げ、推奨フィルムの正規化ランクを0.50から0.10に下げ、単語の推測を32から3.4に下げる。
- 参考スコア（独自算出の注目度）: 0.16385815610837168
- License:
- Abstract: Interactive tasks such as eliciting a user's preferences or diagnosing a hidden mechanism require an agent to track its uncertainty over a latent state, ask informative questions and act on the answers. Language models have no explicit mechanism for this, whereas Bayesian information seeking provides one through posterior inference and expected information gain (EIG), and we ask whether it can be distilled into an 8B language model. Our teacher, a lightweight Bayesian agent with a sequential variational belief and EIG query selection, matches or approaches exact and particle references on three task families. We generate synthetic interactions with the teacher on episodes disjoint from the benchmark and fine-tune \Student{} to reproduce its queries and its belief state as a structured scratchpad. On three Multi-Turn Puzzles tasks the student raises Circuit Decoding from 0.00 to 0.93 success, lowers the normalized rank of the recommended film from 0.50 to 0.10 and cuts word guessing from 32 to 3.4 attempts, exceeding the strongest reported language models on the two comparable tasks. Exposing the belief state closes much of the gap where the decision is an implicit computation rather than a read-out of the interaction; in matched teacher contrasts, EIG supervision consistently outperforms random querying, whereas greater inference fidelity does not uniformly improve the distilled student; a 70B language-model teacher does not match the Bayesian teacher in downstream student performance, and the learned skill does not transfer to an unseen task family. Variational Bayesian information seeking can thus be amortized into a language model by transferring the belief state that drives its questions and decisions.
- Abstract（参考訳）: ユーザの好みを抽出したり、隠されたメカニズムを診断したりするような対話的なタスクは、エージェントが潜伏状態における不確実性を追跡し、情報的な質問をし、答えを行動させる必要がある。
言語モデルには明確なメカニズムがないが、ベイジアン情報探索は後部推論と予測情報ゲイン(EIG)を提供し、これを8B言語モデルに蒸留できるかどうかを問う。
我々の教師は, 逐次的変分信念とEIGクエリ選択を持つ軽量ベイズエージェントであり, 3つのタスクファミリ上での正確な参照と粒子参照のマッチングやアプローチを行っている。
我々は,教師とベンチマークから外れたエピソードの合成インタラクションを生成し,そのクエリとその信念状態を構造化スクラッチパッドとして再現する。
3つのマルチTurn Puzzlesタスクでは、学生はサーキット・デコーディングを0.00から0.93に引き上げ、推奨フィルムの正規化ランクを0.50から0.10に下げ、単語の推測を32から3.4に減らし、2つの同等のタスクにおいて最強の言語モデルを超えた。
一致した教師コントラストでは、EIGはランダムクエリを一貫して上回り、高い推論忠実度は蒸留された学生を均一に改善しない。70B言語モデル教師は下流の生徒のパフォーマンスにおいてベイズ教師と一致せず、学習スキルは目に見えないタスクファミリーに移行しない。
したがって、変分ベイズ的情報探索は、その質問や決定を駆動する信念状態の転送によって言語モデルに記憶することができる。
関連論文リスト
- Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact [0.0]
大規模言語モデルは、データベースに対する自然言語インターフェースを新たに信頼できるものにしたが、キャリブレーションされたテキストから集約されたシステムは、デプロイメントにおいて重要な方法で失敗している。
本稿では、生成シェルを持つ信頼カーネルである、そのようなシステムのためのアーキテクチャパターンを1つの不変量に基づいて提案する。
生成シェルは入力とフレーズの応答を解釈し、決定論的カーネルは、完全に指定された質問と解答可能な質問形状の有界集合とを一致させる。
この2つは、ユーザが何らかの値が計算される前に読む確認で一致し、カーネルが表現できない要求は、近似されるよりも減少する。
論文 参考訳（メタデータ） (2026-08-14T03:53:21Z) - Align to the Pivot: Dual Alignment with Self-Feedback for Multilingual Math Reasoning [71.4175109189942]
Pivot-Aligned Self-Feedback Multilingual Reasoning (PASMR)を提案する。
このアプローチは、モデルの第一言語をピボット言語として指定する。
外部の正しい回答や報酬モデルに頼ることなく、言語横断的な自己フィードバック機構を確立する。
論文 参考訳（メタデータ） (2026-01-25T03:20:00Z) - Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。
Instruct-Verify-and-Act(IVA)を提案する。
実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
論文 参考訳（メタデータ） (2025-08-22T10:54:33Z) - Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。
確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。
TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
論文 参考訳（メタデータ） (2025-02-27T11:03:33Z) - Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
論文 参考訳（メタデータ） (2023-11-16T00:18:50Z) - Task Conditioned BERT for Joint Intent Detection and Slot-filling [4.564638655448509]
本稿では,これらの課題を一つの統一モデルとして解決することで,異なるタスク間でパラメータ支援データの転送が可能になるという仮説を考察する。
提案した原理モデルはTransformerエンコーダに基づいており、複数のタスクで訓練され、ターゲットの推論にモデルを条件付けるリッチな入力によって活用される。
論文 参考訳（メタデータ） (2023-08-11T14:47:27Z) - Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs [37.754787051387034]
本稿では,ブレークポイントモデリングと呼ばれる表現学習フレームワークを提案する。
私たちのアプローチは、中間表現を構築するために、効率的でエンドツーエンドの方法でモデルをトレーニングします。
我々は,従来の表現学習手法よりも,T5に基づく主要なブレークポイント変換器の利点を示す。
論文 参考訳（メタデータ） (2022-11-15T07:28:14Z) - Zero-shot Commonsense Question Answering with Cloze Translation and
Consistency Optimization [20.14487209460865]
自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。
提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
論文 参考訳（メタデータ） (2022-01-01T07:12:49Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z) - Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。
我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
論文 参考訳（メタデータ） (2020-04-07T01:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。