論文の概要: Paraphrase-Induced Output-Mode Collapse: When LLMs Break Character Under Semantically Equivalent Inputs

• arxiv url: http://arxiv.org/abs/2605.04665v1
• Date: Wed, 06 May 2026 09:11:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.741669
• Title: Paraphrase-Induced Output-Mode Collapse: When LLMs Break Character Under Semantically Equivalent Inputs
• Title（参考訳）: パラフレーズ誘発出力モード崩壊:LLMがセマンティック等価入力下で特性を損なうとき
• Abstract要約: 我々は、プロンプト変数の出力モード崩壊と呼ばれる、系統的な障害モードを観察する。 クローズドフォームプロンプトがベアラベルや単一の選択トークンを要求すると、コンテンツ保存プロンプトの変種がモデルを会話の散文にプッシュする。 PARACONSISTは5つの語彙、構文、意味拡張プロンプトを持つ150のベースクエリのベンチマークである。
• 参考スコア（独自算出の注目度）: 0.9525172018746524
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: When the substantive content of a request is rewritten, do large language models still answer in the format the original task asked for? We find that they often do not, even at temperature zero. On a 150-query evaluation over five compact 2025-era LLMs and four task types, we observe a systematic failure mode we call prompt-variant output-mode collapse: when a closed-form prompt asks for a bare label or a single choice token, content-preserving prompt variants can push the model into conversational prose, the requested format dissolves, and exact-match evaluation pipelines silently misjudge the result. To make this measurable, we release PARACONSIST, a 900-prompt benchmark of 150 base queries with five lexical, syntactic, and semantic-expansion prompt variants each, and a Semantic Consistency Score that decomposes prompt-variant robustness into answer consistency, sentence-BERT semantic similarity, and length stability. Under a whole-word answer-set match, only ~22% of closed-form variant responses preserve the ground-truth label inside their output, while ~78% drift away from the answer space entirely. In our pool, the dominant predictor of collapse is task structure rather than model identity, with model differentiation jointly carried by answer consistency and length stability. Robustness audits should therefore track response-mode preservation as a first-class reliability target alongside answer accuracy.
• Abstract（参考訳）: リクエストの実体的内容が書き直されたとき、大きな言語モデルは、元のタスクが要求したフォーマットでまだ答えますか? 温度0でも、そうはならないことがよくあります。 5つのコンパクトな2025年代のLCMと4つのタスクタイプに対する150クエリ評価において、我々はプロンプト-不変の出力モード崩壊と呼ばれる系統的な障害モードを観察し、クローズドフォームプロンプトがベアラベルや単一選択トークンを要求した場合、コンテンツ保存プロンプトの変種がモデルを会話の散文にプッシュし、要求されたフォーマットが解消し、正確なマッチ評価パイプラインが結果を静かに誤解する。 この測定を可能にするために、PARACONSISTは5つの語彙、構文、意味拡張プロンプトをそれぞれ持つ150のベースクエリの900プロンプトベンチマークであり、Semantic Consistency Scoreは、即時変動ロバスト性を解答整合性、文-BERTセマンティック類似性、長さ安定性に分解する。 全単語の回答セットマッチでは、クローズドフォームの変動応答の約22%だけがアウトプット内の接尾辞ラベルを保ち、約78%は応答空間から完全に離れている。 このプールでは,解答の整合性や長さの安定性によってモデル微分が共同で行われるので,崩壊の主要因はモデル同定ではなくタスク構造である。 したがって、ロバストネス監査は、応答モード保存を、応答精度とともに第一級信頼性目標として追跡すべきである。

関連論文リスト

• What Does Your Short-Answer VQA Score Actually Measure? Evaluator-Dependent Instability in Multimodal Short-Answer Benchmarks [25.519850997497283]
  短解VQAベンチマークは2つの異なる量を説明する。 我々は、人間公認のセマンティック・ジャッジを使用して37k以上の公式エラーを監査する。
  論文  参考訳（メタデータ） (2026-07-11T10:01:29Z)
• When Does a Language Model Commit? A Finite-Answer Theory of Pre-Verbalization Commitment [6.48455847613423]
  言語モデルは最終回答を与える前に推論を生成することが多いが、可視性のある答えは、モデルの回答がいつ安定するかを明らかにしない。 我々はこの問題を、狭義の計算可能な対象である無限回答優先安定化(enmphfinite-aswer preference stabilization)を通して研究する。 モデル状態と特定解動詞化子に対しては、モデル自身の継続確率を有限解集合に投影する。 バイナリタスクでは、これは正確なlog-oddsコード、$()=S_(mathrmyesmid)-S_(mathrmnomid)が生成される。
  論文  参考訳（メタデータ） (2026-05-07T08:34:59Z)
• Instruction Complexity Induces Positional Collapse in Adversarial LLM Evaluation [0.0]
  Vagueの逆行命令は、保存されたコンテンツエンゲージメントによって適度に精度を低下させる。 2段階の応答認識回避命令は、単一応答位置にほぼ全方位濃度で極端に位置崩壊する。 その結果、命令の複雑さは、敵対的コンプライアンスがコンテンツ認識またはコンテンツブラインドメカニズムを使用するかどうかを判断できることが示唆された。
  論文  参考訳（メタデータ） (2026-04-29T22:48:24Z)
• Prompt-Based One-Shot Exact Length-Controlled Generation with LLMs [56.47577824219207]
  本稿では,既製の大規模言語モデルを補完して,希望するトークン数を正確に生成するプロンプトベースの戦略を提案する。 プロンプトはカウントダウンマーカーと明示的なカウントルールを付加し、モデルが"カウント中に書き込む"。 MT-Bench-LI では、GPT-4.1 の厳格な長さコンプライアンスは、単純なプロンプトの30%以下から、カウントダウンプロンプトの95%以上へと飛躍する。
  論文  参考訳（メタデータ） (2025-08-19T13:12:01Z)
• Prompt-Response Semantic Divergence Metrics for Faithfulness Hallucination and Misalignment Detection in Large Language Models [0.0]
  本稿では, 忠実な幻覚を検出するための新しい枠組みであるセマンティック・ディバージェンス・メトリックス(SDM)を紹介する。 プロンプトと応答間のトピック共起のヒートマップは、ユーザとマシンの対話の定量的な2次元可視化と見なすことができる。
  論文  参考訳（メタデータ） (2025-08-13T20:55:26Z)
• Variability Need Not Imply Error: The Case of Adequate but Semantically Distinct Responses [7.581259361859477]
  不確実性定量化ツールは、モデルが不確実である場合の応答を拒否するために使用できます。 我々は、モデルがAdequate Responses (PROBAR)に割り当てる確率を推定する。 ProBARはアンビグニティ/オープンエンディエントネスの異なるプロンプトでセマンティックエントロピーを上回ります。
  論文  参考訳（メタデータ） (2024-12-20T09:02:26Z)
• Prompt Stability Scoring for Text Annotation with Large Language Models [0.0]
  研究者たちは、テキストアノテーションに言語モデル(LM)をますます利用している。 これらのアプローチは、一連の命令に従って与えられた出力を返すようモデルに指示するプロンプトにのみ依存する。 LM出力の診断は、にもかかわらず、プロンプト設計の小さな変更に対して脆弱である。
  論文  参考訳（メタデータ） (2024-07-02T08:11:18Z)
• QLSC: A Query Latent Semantic Calibrator for Robust Extractive Question Answering [32.436530949623155]
  クエリの潜在セマンティックセンターの特徴を捉えるために,ユニークなスケーリング戦略を提案する。 これらの機能は、従来のクエリとパスの埋め込みにシームレスに統合されます。 提案手法は,テキスト形式の変化に対する感度を低下させ,正確な回答をピンポイントするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-04-30T07:34:42Z)
• Look Before You Leap: A Universal Emergent Decomposition of Retrieval Tasks in Language Models [58.57279229066477]
  本研究では,言語モデル(LM)が様々な状況下での検索タスクをどのように解決するかを検討する。 ORIONは6つのドメインにまたがる構造化された検索タスクの集合である。 LMは内部的にモジュール方式で検索タスクを分解する。
  論文  参考訳（メタデータ） (2023-12-13T18:36:43Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• Compressive Summarization with Plausibility and Salience Modeling [54.37665950633147]
  本稿では,候補空間に対する厳密な構文的制約を緩和し,その代わりに圧縮決定を2つのデータ駆動基準,すなわち妥当性とサリエンスに委ねることを提案する。 提案手法は,ベンチマーク要約データセット上で強いドメイン内結果を得るとともに,人間による評価により,文法的および事実的削除に対して,可算性モデルが一般的に選択されることを示す。
  論文  参考訳（メタデータ） (2020-10-15T17:07:10Z)
• Generating Dialogue Responses from a Semantic Latent Space [75.18449428414736]
  語彙のエンドツーエンド分類に代わる方法を提案する。 潜在空間上の回帰タスクとして,プロンプトと応答のペア関係を学習する。 人間の評価は、連続した空間でタスクを学習すると、関連性と情報性の両方を持つ応答が生成されることを示した。
  論文  参考訳（メタデータ） (2020-10-04T19:06:16Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。