論文の概要: Decision Sufficiency of Learned Representation Interfaces for Safe Generative Control
- arxiv url: http://arxiv.org/abs/2610.27446v1
- Date: Tue, 20 Oct 2026 00:49:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.562887
- Title: Decision Sufficiency of Learned Representation Interfaces for Safe Generative Control
- Title（参考訳）: 安全な生成制御のための学習表現インタフェースの精度
- Abstract要約: 表現を用いた最適制御器が、達成可能な最小平均損失と完全な状態情報とを一致させることができるかどうかを考察する。
有限個の出力を持つインタフェースに対して、最適損失を正確に計算し、余剰損失の3つの源を分離する。
Qwen2.5, SmolLM2, Phi のモデルアクティベーションを比較的少数のアクティブな特徴を用いて符号化したスパースオートエンコーダから選択した特徴を検査した。
- 参考スコア（独自算出の注目度）: 23.347414121138097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A controller can guide a language model toward safe and useful responses by choosing when to assist, ask for clarification, or refuse. When the controller uses selected internal features, poor performance alone cannot distinguish missing information from limitations of its decision rules or training. We study decision sufficiency: whether the best controller using a representation can match the minimum average loss attainable with full state information, under the same strategies and evaluation criteria. For interfaces with finitely many outputs, we compute the optimal loss exactly and separate the three sources of excess loss. Pairwise checks can miss information loss: states with the same controller input may share an optimal strategy in every pair but not across the whole group. We bound the number of states needed to reveal a conflict and characterize the fewest outputs an unrestricted interface needs to avoid all conflicts. We audit selected features from sparse autoencoders, which encode model activations using relatively few active features, in Qwen2.5, SmolLM2, and Phi. On SmolLM2 responses scored by two human raters, restricting the controller to two selected on/off features increases its minimum average loss by 0.0345--0.1166 relative to full state information, even with the governing policy supplied. Both independently trained autoencoders show the increase on both evaluation sets. The audit identifies decision failures that require changing the controller's input, not merely its architecture or training.
- Abstract（参考訳）: コントローラは、いつ支援するか、明確化を求めるか、拒否するかを選択することで、安全で有用な応答に向けて言語モデルを導くことができる。
コントローラが選択した内部機能を使用する場合、貧弱なパフォーマンスだけでは、不足した情報をその決定ルールやトレーニングの制限と区別できない。
表現を用いた最適制御器が、同じ戦略と評価基準の下で、達成可能な最小平均損失と完全な状態情報とを一致させることができるかどうかを考察する。
有限個の出力を持つインタフェースに対して、最適損失を正確に計算し、余剰損失の3つの源を分離する。
ペアワイズチェックは情報損失を見逃す可能性がある:同じコントローラ入力を持つ状態は、すべてのペアで最適な戦略を共有するが、グループ全体では共有しない。
競合を明らかにするのに必要な状態の数と、すべての衝突を避けるために制限のないインターフェースを必要とする最も少ない出力を特徴付けます。
Qwen2.5, SmolLM2, Phi のモデルアクティベーションを比較的少数のアクティブな特徴を用いて符号化したスパースオートエンコーダから選択した特徴を検査した。
2人の人間によるSmolLM2応答では、コントロールを2つの選択されたオン/オフ特徴に制限すると、制御ポリシーが提供されたとしても、完全な状態情報に対して、最小平均損失が0.00345-0.1166増加する。
どちらも独立に訓練されたオートエンコーダは、両方の評価セットの増加を示す。
監査は、単にアーキテクチャやトレーニングだけでなく、コントローラの入力を変更する必要のある決定失敗を特定する。
関連論文リスト
- AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。
5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。
ハーネスは推論の精度を常に改善しないことがわかった。
論文 参考訳（メタデータ） (2026-10-14T14:04:48Z) - AutoCRAT: Within-trajectory Joint Control of Stochasticity and Compute for LLM Reasoning [10.408251801653723]
大規模言語モデル(LLM)は、時間決定に大きく依存する強力な推論性能を達成する。
最近の適応的手法はこの制限に部分的に対処するが、主に推奨の復号性(モデルがどのように探索するか)や計算の推論(モデル理由の期間)を分離して適用する。
軌道内ジョイントコントロールビューを導入し,AutoCRATでインスタンス化する。
論文 参考訳（メタデータ） (2026-08-30T19:24:58Z) - Maestro Order: A Model-Agnostic Orchestration Harness [0.5414847001704247]
本稿では、信頼できない解法を信頼性の高い問題解決システムに変換するモデルに依存しないオーケストレーションハーネスを提案する。
アーキテクチャ、メッセージおよび状態スキーマ、コントローラアルゴリズム、そして決定論的で観測可能でフォールトトレラントなエンジニアリングを提供します。
パラメータ化ソルバ/検証器モデル上でのハーネスの忠実なモンテカルロシミュレーションの結果を報告する。
論文 参考訳（メタデータ） (2026-06-22T22:21:59Z) - A Regime Theory of Controller Class Selection for LLM Action Decisions [13.268450355990687]
コントローラを固定アクション、パーティションルータ、インスタンスレベルのコントローラ、プレゲートコントローラの4つのクラスにまとめる。
3つのデータ推定可能なボトルネックをクラス選択に変換する制度理論を実証する。
結果のバーンスタイン-タイト閾値は、一致する情報理論の下限を持ち、厳密なネスト付きクロスバリデーションは、確実に、最も近いクラスを選択する。
論文 参考訳（メタデータ） (2026-05-07T14:28:17Z) - Taming CATS: Controllable Automatic Text Simplification through Instruction Fine-Tuning with Control Tokens [2.4713807020542773]
自動テキストの簡易化における制御性は、データと評価によって著しく制限される。
本稿では,個別制御トークンを用いた命令微調整に基づくドメインに依存しないCATSフレームワークを提案する。
標準の単純化と類似度指標は制御の計測に不十分であることを示す。
論文 参考訳（メタデータ） (2026-04-02T08:44:17Z) - Controllable LLM Reasoning via Sparse Autoencoder-Based Steering [66.36947132041657]
大規模推論モデル(LRM)は、人間のような認知的推論戦略を示す。
現在、推論戦略はLEM自身によって自律的に選択されている。
既存の手法は、LRMの隠蔽状態における概念的絡み合いによって、きめ細かい推論戦略を制御するのに苦労している。
論文 参考訳（メタデータ） (2026-01-07T05:26:26Z) - e1: Learning Adaptive Control of Reasoning Effort [88.51897900019485]
AIモデルの思考予算の増大は、精度を大幅に向上させるが、すべての質問が同じ量の推論を保証しているわけではない。
ユーザは、アウトプットの品質を、レイテンシやコストに対してどのように評価するかによって、さまざまな理由付けの労力を割り当てる傾向があります。
本稿では,ユーザが指定したトークン数を用いてモデルを学習する自己適応型強化学習手法であるAdaptive Effort Controlを提案する。
論文 参考訳（メタデータ） (2025-10-30T23:12:21Z) - Actor-Critic based Improper Reinforcement Learning [61.430513757337486]
我々は,未知のマルコフ決定プロセスに対して,学習者に100万ドルのベースコントローラを付与する不適切な強化学習環境を考える。
本稿では,(1)ポリシーグラディエントに基づくアプローチ,(2)単純なアクター・クリティカル・スキームとNatural Actor-Criticスキームを切り替えるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-19T05:55:02Z) - Deep Reinforcement Learning Aided Platoon Control Relying on V2X
Information [78.18186960475974]
車両間通信(V2X)が小隊制御性能に及ぼす影響について検討した。
我々の目的は、最も適切な状態空間を構築するために、車両間で共有されるべき特定の情報の集合を見つけることである。
状態空間に含めると、より高い状態次元を持つ負の効果を相殺する確率が高いため、より有益な情報が伝達においてより高い優先度で与えられる。
論文 参考訳（メタデータ） (2022-03-28T02:11:54Z) - Policy Search for Model Predictive Control with Application to Agile
Drone Flight [56.24908013905407]
MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。
具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。
シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
論文 参考訳（メタデータ） (2021-12-07T17:39:24Z) - How Are Learned Perception-Based Controllers Impacted by the Limits of
Robust Control? [17.775878968489852]
制御性/可観測性グラムの最小固有値のようなシステム特性の観点から、最適制御問題の難しさを再考する。
データ駆動コントローラのパフォーマンスとサンプルの複雑さを予測するタスクの定量化可能な制御と知覚的難易度メトリクスはどの程度ですか?
その結果,頑健な制御の基本的限界は,学習した知覚に基づく制御器のサンプル効率と性能に影響を及ぼすことがわかった。
論文 参考訳（メタデータ） (2021-04-02T00:31:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。