論文の概要: Harnessing non-adversarial robustness in large language models

• arxiv url: http://arxiv.org/abs/2605.29816v1
• Date: Thu, 28 May 2026 12:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 05:02:24.581954
• Title: Harnessing non-adversarial robustness in large language models
• Title（参考訳）: 大規模言語モデルにおける非敵対的ロバスト性の評価
• Abstract要約: 我々は、ロバストネスは単純な微調整プロセス、すなわちロバストネスのデバイアスによって達成できることを示す。 偏りが役に立たない状態を特定し、理論と広範な実験を通して、偏りは強靭性を高めるための迅速かつ効率的なツールである可能性があることを実証する。
• 参考スコア（独自算出の注目度）: 53.703320836018605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The work presents an approach for addressing the challenge of robustness in Large Language Models (LLMs) to alterations and potential errors caused by semantically similar but textually different prompts. Recent works have shown that these kinds of prompt variations can significantly impact the performance of LLMs on tasks. The central question is: can LLMs' robustness to semantically-neutral prompt alterations be acquired without expensive retraining of the entire model? We address this question both theoretically and through experiments. Our theoretical analysis reveals a crucial factor impacting model robustness - a systematic expected shift or perturbation-induced bias in neural network module outputs. Motivated by this analysis, we show that robustness can be achieved via a simple fine-tuning process: debiasing for robustness. We identify conditions when debiasing helps and when it does not, and demonstrate, through both theory and extensive experiments, that debiasing for robustness may indeed be a quick and efficient tool to enhance robustness and provide certification against random prompt perturbations.
• Abstract（参考訳）: この研究は、意味論的に類似しているが、テキスト的に異なるプロンプトによって引き起こされる変更や潜在的なエラーに対して、Large Language Models (LLMs) における堅牢性の課題に対処するためのアプローチを提示している。 近年の研究では、このような急激な変化がLLMのタスク性能に大きな影響を与えることが示されている。 中心的な疑問は、LLMの意味論的中立性に対する堅牢性は、モデル全体の高価な再トレーニングなしに獲得できるか? 理論的にも実験を通じてもこの問題に対処する。 我々の理論的分析は、ニューラルネットワークモジュールの出力において、体系的な期待シフトや摂動誘発バイアスというモデルロバスト性に影響を及ぼす決定的な要因を明らかにしている。 この分析により、ロバストネスは単純な微調整プロセス、すなわちロバストネスのデバイアス化によって達成できることを示す。 脱バイアスが役に立たない状況を特定し、理論と広範な実験を通して、頑健性に対する脱バイアスは、ロバスト性を高め、ランダムな急激な摂動に対する認証を提供するための、迅速かつ効率的なツールである可能性があることを実証する。

関連論文リスト

• Clustered Self-Assessment: A Simple yet Effective Method for Uncertainty Quantification in Large Language Models [44.59799077650502]
  本研究では,大規模言語モデルにおける不確実性定量化のための簡易かつ効果的な自己評価手法を提案する。 提案手法は,世代を意味的に異なるクラスタに分類し,構造化された複数選択質問の回答オプションに変換し,モデルによって割り当てられた確率を信頼度推定として利用する。
  論文  参考訳（メタデータ） (2026-06-02T16:25:54Z)
• What Makes VLMs Robust? Towards Reconciling Robustness and Accuracy in Vision-Language Models [64.99746027349767]
  Adversarial Robustness Adaptation (R-Adapt)は、トレーニング済みのすべての重みを凍結し、初期層のみに限って最小限の洞察駆動適応を導入するフレームワークである。 R-Adaptは、大きな視覚言語モデル(LLaVAやQwen-VLなど)に効率よく一般化し、ロバスト性を高める。
  論文  参考訳（メタデータ） (2026-03-13T09:02:11Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• TokUR: Token-Level Uncertainty Estimation for Large Language Model Reasoning [27.449948943467163]
  token-level Uncertainty Estimation framework for Reasoning (TokUR)を提案する。 TokURは、大規模言語モデルにおいて、数学的推論における応答を自己評価し、自己改善することを可能にする。 様々な難易度を持つ数学的推論データセットの実験により、TokURは答えの正しさとモデルロバストネスと強い相関を示すことが示された。
  論文  参考訳（メタデータ） (2025-05-16T22:47:32Z)
• Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
  モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。 本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:13:11Z)
• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)
• Distinguishing the Knowable from the Unknowable with Language Models [15.471748481627143]
  地中真理確率の欠如において、与えられた不確実性を解き放つために、より大きなモデルが地中真理の代用として現れるような設定を探索する。 凍結, 事前訓練されたモデルの埋め込みを訓練した小さな線形プローブが, トークンレベルでより大きなモデルがより自信を持つようになる時期を正確に予測することを示した。 我々は,同じタスクにおいて非自明な精度を実現する,完全に教師なしの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:22:49Z)
• RoMA: a Method for Neural Network Robustness Measurement and Assessment [0.0]
  ロバストネス測定・評価(RoMA)と呼ばれる新しい統計手法を提案する。 RoMAは、ランダムな入力摂動が誤分類を引き起こす可能性を決定する。 この研究を通じて得られた興味深い洞察の1つは、分類ネットワークにおいて、異なる出力ラベルが全く異なる堅牢性レベルを示すことができることである。
  論文  参考訳（メタデータ） (2021-10-21T12:01:54Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。