論文の概要: The Illusion of Control: Why Bare Classifier Inversion Silently Fails in Concept-Bottleneck Text Generation
- arxiv url: http://arxiv.org/abs/2608.22956v1
- Date: Mon, 24 Aug 2026 08:21:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.964871
- Title: The Illusion of Control: Why Bare Classifier Inversion Silently Fails in Concept-Bottleneck Text Generation
- Title(参考訳): 制御のイラシオン:概念・ボットネックテキスト生成において、素小分類器が無意味に機能しない理由
- Abstract要約: コンセプション・ブートネック制御可能生成路は低次元概念コードを介してマルチ属性制御を行う。
我々はこの問題を多軸合成一般化の下で概念ボトルネックテキスト生成において研究する。
- 参考スコア(独自算出の注目度): 0.30693357740321775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concept-bottleneck controllable generation routes multi-attribute control through a low-dimensional concept code that, at deployment, must be synthesised from a target attribute configuration. We study this problem in concept-bottleneck text generation under multi-axis compositional generalisation, comparing three ways to obtain the inference-time code: classifier inversion against the encoder heads, reference-text encoding, and a post-hoc label-conditioned prior. Since a concept code admits no direct LM-fluency term, regularising inversion must instead constrain the code toward the encoder's training distribution. We therefore test bare inversion and three regularised variants: label-agnostic and label-conditioned Mahalanobis penalties, and a conditional normalising-flow density baseline. Every inversion variant we test underperforms a simple post-hoc prior fitted to per-combination encoder means on the same checkpoints, across three backbone families spanning $124$M to $8$B parameters. The bare form of classifier inversion also silently collapses to chance, traceable to a directly measured off-manifold code. We validate this diagnosis on real-world benchmarks and under external evaluators, enabling fair comparison with published baselines.
- Abstract(参考訳): コンセプト・ブートネック制御可能な生成経路は、低次元の概念コードを通じてマルチ属性制御を行い、デプロイ時には、ターゲット属性設定から合成する必要がある。
本研究では,多軸合成一般化による概念ボタネックテキスト生成において,エンコーダヘッドに対する分類器インバージョン,参照テキストエンコーディング,ポストホックラベルコンディショニングの3つの方法の比較を行った。
概念コードは直接のLM-fluency項を認めないので、逆転の正規化はエンコーダのトレーニング分布にコードを拘束する必要がある。
そこで我々は, ラベル非依存型とラベル条件付きマハラノビス罰則, 条件付き正規化-フロー密度ベースラインの3つの規則化された変種を検証した。
テストするすべての逆変種は、124$Mから8$Bのパラメータにまたがる3つのバックボーンファミリで、同じチェックポイント上で、組込みエンコーダ平均に適合する単純なポストホック前処理を実行します。
素形の分類器の逆転は、直接測定されたオフマニフォールドコードにトレース可能な、静かに偶然に崩壊する。
この診断を実世界のベンチマークと外部評価器で検証し、公開ベースラインと公正な比較を可能にした。
関連論文リスト
- Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。
本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
論文 参考訳(メタデータ) (2026-08-15T13:19:25Z) - TraceCoder: Explainable and Auditable Code Generation with Position-Key Snippet Versioning [0.0]
本稿では,3つの相補的なメカニズムによる欠点に対処するコード生成概念を提案する。
リレーショナルスニペット履歴スキーマレコード、修理イベント毎、ベンチマークリファレンス、ラウンド番号、障害テキスト、説明。
ブラウザベースの視覚化ツールは、この履歴をヒートマップされたホバリング注釈付きソースコードとして表現する。
論文 参考訳(メタデータ) (2026-07-28T22:03:52Z) - Principles of Concept Representation in Sentence Encoders [0.24828140397930876]
文エンコーダは、その潜在空間が対応する意味演算子の低歪み実現を認める場合にのみ、概念をサポートする。
このフレーミングは、現在のエンコーダが成功する場所と、それらが監督に構造的に不一致している場所の両方を予測する。
微調整は、拡張するのではなく、潜在幾何学を再検討する。
そこで我々は,DBpediaのセマンティックギャップベンチマークと修正子ラベル付きデータセットNPパラフレーズスイートの2つの新しい評価結果を発表した。
論文 参考訳(メタデータ) (2026-06-05T07:33:05Z) - Inferring Code Correctness from Specification [0.0]
大規模言語モデル(LLM)は現代のソフトウェア開発に不可欠なものとなり、大規模に自動コード生成を可能にしている。
提案するTRAILS(Targeted Reasoning Agreement via Inputs and Specifications)は,コンクリート(インプット,アウトプット)ペアによるLCM推論を基礎とする手法である。
TRAILSをLiveCodeBenchとCoCoClaNeLの2つのデータセット(Qwen3Coder-30B、Devstral-Small-24B、Olmo3.1-Instruct)で評価し、HoarePromptとZero-Shot Chain-of-Thoughtベースラインと比較した。
論文 参考訳(メタデータ) (2026-05-28T12:04:51Z) - Collapse-Free Prototype Readout Layer for Transformer Encoders [0.0]
DDCL-Attentionは、トランスフォーマーエンコーダ用のプロトタイプベースの読み出し層である。
列長の線形複雑度でコンパクトなトークン要約を生成する。
最終読み出し層、VQ-VAEの拡張可能なコードブック、階層型ドキュメント圧縮器である。
論文 参考訳(メタデータ) (2026-04-04T20:23:21Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳(メタデータ) (2025-09-26T23:40:47Z) - Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。
自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。
近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。
k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
論文 参考訳(メタデータ) (2025-08-14T15:00:00Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳(メタデータ) (2023-07-16T16:32:14Z) - GLENet: Boosting 3D Object Detectors with Generative Label Uncertainty Estimation [70.75100533512021]
本稿では,対象物の潜在的可算有界箱の多様性として,ラベルの不確実性問題を定式化する。
本稿では,条件付き変分オートエンコーダを応用した生成フレームワークであるGLENetを提案する。
GLENetが生成するラベルの不確実性はプラグアンドプレイモジュールであり、既存のディープ3D検出器に便利に統合することができる。
論文 参考訳(メタデータ) (2022-07-06T06:26:17Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。