論文の概要: Where Do Prompt Perturbations Break Generation? A Segment-Level View of Robustness in LoRA-Tuned Language Models

• arxiv url: http://arxiv.org/abs/2605.01605v1
• Date: Sat, 02 May 2026 21:12:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.8482
• Title: Where Do Prompt Perturbations Break Generation? A Segment-Level View of Robustness in LoRA-Tuned Language Models
• Title（参考訳）: プロンプト摂動はどこで発生するのか? LoRA-Tuned Language Modelにおけるロバストさのセグメンションレベルビュー
• Authors: Zhuoyun Li, Boxuan Wang, Jinwei Hu, Zhenglin Huang, Qisong He, Xinmiao Huang, Guangliang Cheng, Xiaowei Huang, Yi Dong,
• Abstract要約: 大規模な言語モデルは、小さな急激な摂動に敏感である。 既存の堅牢性メソッドは通常、シーケンス全体の一貫性を強制する。 堅牢なLoRAファインチューニングのためのセグメントレベルフレームワークであるS$2$R$2$を紹介する。
• 参考スコア（独自算出の注目度）: 21.11973252925284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are sensitive to minor prompt perturbations, yet existing robustness methods usually enforce consistency at the whole-sequence level. This holistic view can hide an important failure mode: a perturbed response may remain globally similar to the clean one while drifting on a critical entity, relation, or conclusion. We introduce S$^2$R$^2$, a segment-level framework for robust LoRA fine-tuning. S$^2$R$^2$ decomposes clean and perturbed generations into semantic segments, aligns them with an optimal-transport objective, and penalises the segments with the largest meaning drift. To connect this output-side objective with model adaptation, we add an adapter-stability regulariser motivated by segment-level attention reallocation, using LoRA norm control as a tractable proxy for limiting perturbation-amplified evidence shifts. A PAC-Bayesian complexity view further explains why controlling adapter growth may support transfer beyond observed perturbations. Experiments on summarisation benchmarks show that S$^2$R$^2$ improves robustness under typographical noise, deletion, synonym replacement, and paraphrasing, while maintaining competitive clean performance and stronger cross-dataset transfer than consistency-based baselines.
• Abstract（参考訳）: 大きな言語モデルは、小さな急激な摂動に敏感であるが、既存の堅牢性メソッドは通常、シーケンス全体の一貫性を強制する。 この全体論的な見解は、重要な障害モードを隠蔽することができる: 摂動応答は、重要な実体、関係、結論に漂流しながら、クリーンな応答とグローバルに類似しているかもしれない。 堅牢なLoRAファインチューニングのためのセグメントレベルフレームワークであるS$^2$R$^2$を紹介する。 S$^2$R$^2$は、クリーンで乱れた世代をセマンティックセグメントに分解し、それらを最適な輸送目的と整列させ、最も大きな意味を持つセグメントをペナルライズする。 この出力側目標とモデル適応を結びつけるために,LoRAノルム制御を摂動増幅されたエビデンスシフトを制限するためのトラクタブルプロキシとして使用し,セグメントレベルのアテンション再配置を動機とするアダプタ安定性レギュレータを付加する。 PAC-Bayesianの複雑性ビューは、アダプタの成長を制御することが、観測された摂動以上の移動をサポートする理由をさらに説明している。 要約ベンチマークの実験では、S$^2$R$^2$は、整合性ベースのベースラインよりも競争力のあるクリーンパフォーマンスと強力なクロスデータセット転送を維持しながら、タイポグラフィーノイズ、削除、同義語置換、パラフレージングの下で堅牢性を向上させることが示されている。

関連論文リスト

• Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment [97.55382322103986]
  Hit-RAGは認知的ボトルネックを解決するために設計された多段階の優先順位調整フレームワークである。 本手法は,3つの異なる段階を通じて外部証拠の利用を体系的に改善する。
  論文  参考訳（メタデータ） (2026-03-07T04:05:27Z)
• OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
  既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。 このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。 我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-11T09:41:36Z)
• Cascading multi-agent anomaly detection in surveillance systems via vision-language models and embedding-based classification [0.0]
  この研究は、補完パラダイムをコヒーレントで解釈可能なアーキテクチャに統一するカスケーディングマルチエージェントフレームワークを導入している。 初期モジュールは再構成ゲートフィルタリングとオブジェクトレベルの評価を行い、高レベルの推論エージェントは、意味的に曖昧な事象を解釈するために選択的に呼び出される。 このフレームワークは、早期出力効率、適応型マルチエージェント推論、説明可能な異常属性を組み合わせることで、従来の検出パイプラインを超えて進歩し、スケーラブルなインテリジェントなビジュアル監視のための再現可能でエネルギー効率の良い基盤を確立する。
  論文  参考訳（メタデータ） (2026-01-08T11:31:47Z)
• ${D}^{3}${ETOR}: ${D}$ebate-Enhanced Pseudo Labeling and Frequency-Aware Progressive ${D}$ebiasing for Weakly-Supervised Camouflaged Object ${D}$etection with Scribble Annotations [35.83125554386894]
  D3$ETORは、Dbate-Enhanced Pseudo Labelingと Frequency-Aware Progressive Debiasingで構成される2段階のWSCODフレームワークである。 適応的なエントロピー駆動点サンプリング法と多エージェントの議論機構を導入し,CODのためのSAMの能力を高める。 第2段階では、多レベル周波数認識機能を融合したFADeNetを設計し、グローバルな意味理解と局所的な詳細モデリングのバランスをとる。
  論文  参考訳（メタデータ） (2025-12-23T11:16:16Z)
• Robust-R1: Degradation-Aware Reasoning for Robust Visual Understanding [54.05243949024302]
  既存の堅牢なMLLMは、視覚エンコーダの一般化にのみ焦点をあてた暗黙のトレーニング/適応に依存している。 本稿では,構造的推論連鎖による視覚的劣化を明示的にモデル化する新しいフレームワークであるRobust-R1を提案する。 提案手法は, (i) 劣化を考慮した推論基盤の微調整, (ii) 劣化パラメータを正確に知覚するための報酬駆動アライメント, (iii) 劣化強度に適応した動的推論深度スケーリングの2つを統合した。
  論文  参考訳（メタデータ） (2025-12-19T12:56:17Z)
• Stop When Enough: Adaptive Early-Stopping for Chain-of-Thought Reasoning [46.106795445750855]
  REFRAINはトレーニング不要のフレームワークで、理由付けをやめて過度に考えることを緩和する。 REFRAINは、標準的なCoTプロンプトと比較して、トークンの使用量を20～55%削減し、精度を維持または改善している。
  論文  参考訳（メタデータ） (2025-10-11T08:30:00Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。