論文の概要: How Robust Is Multimodal Claim Verification to LLM Rewriting?

• arxiv url: http://arxiv.org/abs/2610.02841v1
• Date: Fri, 02 Oct 2026 05:31:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.230318
• Title: How Robust Is Multimodal Claim Verification to LLM Rewriting?
• Title（参考訳）: LLM書き換えにおけるマルチモーダルクレームの検証
• Abstract要約: 目的は、文書的クレームが所定の証拠に根拠づけられているかどうかを判断することである。 自然な書き直しと制御された注入という2つの書き直し戦略を適用します。 我々は5つのVLMファミリーにまたがる11のオープンウェイトモデルを評価し,そのパラメータは2Bから38Bの範囲である。
• 参考スコア（独自算出の注目度）: 16.873180911172838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs are known to introduce stylistic changes into generated text, yet how these stylistic shifts affect model decisions on scientific tasks remains underexplored. In this paper, we focus on multimodal claim verification, where the goal is to determine whether a textual claim is grounded in a given piece of evidence. We apply two rewriting strategies: natural rewriting, which simulates how researchers routinely use LLMs to polish academic text, and controlled injection, which inserts a single LLM-associated word to isolate the effect of vocabulary choice. We evaluate 11 open-weight models spanning five VLM families and ranging from 2B to 38B parameters. We find that models are robust to these modifications: most show no significant drop in accuracy, and compared to prior work on review-score manipulation, verification appears far more stable. However, consistent probability shifts do occur. Hedging-oriented conditions produce significant shifts across nearly all models, while boosting conditions show a weaker effect and general polishing conditions (e.g., grammar correction, fluency improvement) have little effect.
• Abstract（参考訳）: LLMは、生成されたテキストにスタイリスティックな変化をもたらすことが知られているが、これらのスタイリスティックな変化が、科学的タスクにおけるモデル決定にどのように影響するかは、未解明のままである。 本稿では,文書的主張が与えられた証拠に根拠があるかどうかを判断することを目的とするマルチモーダルクレーム検証に焦点を当てる。 そこで本研究では,学術テキストの研磨にLLMを日常的に使用する方法をシミュレートした自然な書き直しと,単一のLLM関連単語を挿入して語彙選択の効果を分離するインジェクションの制御という2つの書き直し戦略を適用した。 我々は5つのVLMファミリーにまたがる11のオープンウェイトモデルを評価し,そのパラメータは2Bから38Bの範囲である。 ほとんどが精度の大幅な低下を示しておらず、レビュースコア操作の以前の作業に比べれば、検証ははるかに安定しているように思われる。 しかし、一貫した確率シフトが発生する。 ヘッジ指向条件は、ほぼ全てのモデルに重大な変化をもたらすが、強化条件は、より弱い効果を示し、一般的な研磨条件(例えば、文法補正、流速改善)は、ほとんど効果がない。

関連論文リスト

• The Text Uncanny Valley: Non-Monotonic Performance Degradation in LLM Information Retrieval [21.243421703047037]
  単語境界の破損がLarge Language Modelベンチマークのターゲット情報の検出方法に与える影響について検討する。 単語に空白文字を挿入して断片に分解することで、LLMの精度は挿入率の増加とともにU字型曲線に従う。
  論文  参考訳（メタデータ） (2026-05-08T03:26:42Z)
• Beyond Accuracy: LLM Variability in Evidence Screening for Software Engineering SLRs [0.29737220923371155]
  大規模言語モデル(LLM)は、体系的な文献レビューにおいて、スクリーニングの研究に使用される。 急速な取り込みにもかかわらず、そのようなモデルが研究スクリーニングフェーズでどのように振る舞うかは限定的な証拠である。 本研究では,LLMの性能に及ぼす入力メタデータ(抽出,タイトル,キーワード)の影響について検討した。
  論文  参考訳（メタデータ） (2026-04-29T08:55:16Z)
• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models [49.435669307386156]
  MPR(Multi-stage Prompt Refinement)は、複数のステージにわたる不整形プロンプトを体系的に改善するためのフレームワークである。 MPRは、追加の文脈でプロンプトの明快さを反復的に強化し、最も関連する入力を優先順位付けするためにランク付けされた自己回帰機構を使用する。 幻覚ベンチマークの結果、MPRは原型と比較して85%以上の勝利率を達成した。
  論文  参考訳（メタデータ） (2025-10-14T00:31:36Z)
• Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
  大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。 このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。 意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
  論文  参考訳（メタデータ） (2025-09-10T17:58:53Z)
• Multi-round, Chain-of-thought Post-editing for Unfaithful Summaries [10.712226955584798]
  近年の大規模言語モデル (LLM) は、自然言語理解および生成タスクの実行において顕著な能力を示している。 ニュース要約における忠実度評価におけるLCMの使用について検討し,人的判断と強い相関関係が得られた。 我々は、生成した要約とソース・ニュース・ドキュメントの現実的矛盾を特定・修正するための様々なチェーン・オブ・シークレット・プロンプトを実験した。
  論文  参考訳（メタデータ） (2025-01-20T04:55:43Z)
• Robustness of Large Language Models to Perturbations in Text [2.2734015467359217]
  大規模言語モデル(LLM)は素晴らしいパフォーマンスを示していますが、現実のデータでは避けられないノイズを処理できますか? この研究は、LLMのテキストのモルフォロジー変化に対するレジリエンスを調査することによって、この重要な問題に取り組む。 以上の結果から, LLM は, 一般の信念とは対照的に, 文中での騒々しい摂動に対して静かであることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-12T04:50:17Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Improving Factual Consistency of News Summarization by Contrastive Preference Optimization [65.11227166319546]
  大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。 これらの幻覚は、従来の方法による検出が困難である。 本稿では,LLMの適合性を解消し,忠実で偽のコンテンツを生成するコントラスト優先最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2023-10-30T08:40:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。