論文の概要: On the Limits of LLM Adaptability: Impact of Model-Internalized Priors on Annotation Task Performance
- arxiv url: http://arxiv.org/abs/2606.00467v1
- Date: Sat, 30 May 2026 01:21:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.475121
- Title: On the Limits of LLM Adaptability: Impact of Model-Internalized Priors on Annotation Task Performance
- Title（参考訳）: LLM適応性の限界について:アノテーションタスク性能に及ぼすモデルインタナイズドプリミティブの影響
- Abstract要約: そこで本研究では,ユーザが提供する命令とモデルインターナライズドプリエントがどのように相互作用するかを検討する。
ゼロショット誤差の3分の2近くが修正に抵抗していることが判明した。
高信頼誤差は特に修正に耐性がある。
- 参考スコア（独自算出の注目度）: 0.7303825588015752
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly used for zero-shot annotation and LLM-as-a-judge tasks, yet their reliability hinges on how model-internalized priors interact with user-provided instructions. We investigate three dimensions of this interaction: (1) how an LLM's familiarity with data and task definitions affects performance, (2) the extent to which additional information in prompts can correct zero-shot errors ("decision stickiness"), and (3) model susceptibility to misaligned task definitions. Through experiments on toxicity detection across diverse datasets (spanning social media, gaming, news, and forums) using both dense and mixture-of-experts models, we find that nearly two-thirds of zero-shot errors are resistant to correction, with an overall rescue rate (fraction of initial errors corrected by prompting) of only 34.8%. High-confidence errors prove especially resistant to correction. When given misaligned definitions, LLMs follow them while maintaining confidence levels unchanged from the aligned condition. Crucially, we introduce Definition-Specific Familiarity (DSF), which measures alignment between a model's internal concept and the task definition. After controlling for dataset-level confounds, DSF shows a positive association with model performance (partial r = +0.41), while three distinct memorization metrics (ROUGE-L, BERTScore, and embedding cosine similarity) all fail to show a positive association. These findings show the limitations of prompt-based correction in annotation tasks, highlighting the importance of definition alignment over text-level memorization.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、ゼロショットアノテーションやLCM-as-a-judgeタスクにますます使われていますが、その信頼性は、モデル内部の事前がユーザが提供する命令とどのように相互作用するかにかかっています。
この相互作用の3つの側面について検討する:(1) LLMがデータやタスク定義に精通していることがパフォーマンスにどのように影響するか、(2)プロンプトに含まれる追加情報がゼロショットエラーを補正できる範囲(「決定の粘着性」)、(3) ミスアライメントされたタスク定義に対するモデル感受性。
各種データセット(ソーシャルメディア、ゲーム、ニュース、フォーラムなど)の高密度および混合専門家モデルを用いた毒性検出実験により、ゼロショットエラーの3分の2近くが修正に抵抗しており、全体の救難率は34.8%に過ぎなかった。
高信頼誤差は特に修正に耐性がある。
不整合の定義が与えられたとき、LCMはそれらに従い、信頼レベルは整合状態から変化しない。
重要なことは、モデルの内部概念とタスク定義の整合性を測定するDSF(Definition-Specific Familiarity)を導入することである。
データセットレベルのコンファウンドを制御した後、DSFはモデル性能(部分 r = +0.41)と正の相関を示す一方、3つの異なる記憶度(ROUGE-L、BERTScore、埋め込みコサイン類似度)はいずれも正の相関を示すことができない。
これらの結果から,アノテーションタスクにおけるアクシデントベースの修正の限界が示され,テキストレベルの記憶よりも定義アライメントの重要性が強調された。
関連論文リスト
- From Passive Response to Proactive Correction: Enhancing LLM Robustness Against Input Fact Perturbations [12.021107313829082]
大規模言語モデル(LLM)は、ユーザ入力が誤解を招く前提を含む場合、確実だが事実的に誤った応答を生成する。
我々は,LSMを受動的応答器から能動的誤り訂正器に変換する3段階のフレームワークであるDEDUCEを提案する。
TruthfulQA,FalseQA,および我々のMisFactQAベンチマークの実験は、DDUCEが精度と誤り訂正能力の両方を大幅に改善することを示した。
論文 参考訳（メタデータ） (2026-08-26T15:13:50Z) - PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling [11.1017602726296]
大規模言語モデルは、ますます自律的なエージェントとして機能している。
現在のベンチマークには3つの制限がある。
Evalは、2段階のフレームワークで構築されたベンチマークである。
論文 参考訳（メタデータ） (2026-08-09T13:25:54Z) - PrefixNLI: Detecting Factual Inconsistencies as Soon as They Arise [60.63315470285562]
MiniTruePrefixesは、テキストプレフィックスよりも事実上の矛盾をよりよく検出する、新しい特殊モデルである。
制御されたデコードフレームワークにMiniTruePrefixesを組み込むことで,抽象的な要約における現実の一貫性が大幅に向上することを示す。
論文 参考訳（メタデータ） (2025-11-03T09:07:44Z) - LLM Microscope: What Model Internals Reveal About Answer Correctness and Context Utilization [9.410181019585822]
我々は、モデル出力の正しさを予測できるかどうかを確認するために、解釈可能性法を運用する。
私たちは正しい、間違った、無関係なコンテキストを考え、それらを区別するためのメトリクスを導入します。
モデル内部のメトリクスは、正しいコンテキストと不正確なコンテキストを区別する基準線を著しく上回る。
論文 参考訳（メタデータ） (2025-10-05T03:14:05Z) - Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
大規模言語モデルは、自動脆弱性検出のための有望なツールである。
LLMは現実世界の脆弱性を検出するのに本当に効果的か?
本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
論文 参考訳（メタデータ） (2025-04-18T05:32:47Z) - SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。
我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。
これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
論文 参考訳（メタデータ） (2025-02-24T07:15:05Z) - Label Convergence: Defining an Upper Performance Bound in Object Recognition through Contradictory Annotations [0.0]
矛盾するテストアノテーションの制約の下で達成可能な最高性能を記述するために,「ラベル収束」の概念を導入する。
ラベル収束は LVIS の場合 62.63-67.52 mAP@[0.5:0.95:0.05] であり、95% の信頼度を持つ。
LVISデータセットのラベル収束間隔の上端にある現在の最先端(SOTA)モデルでは、モデルキャパシティが現在のオブジェクト検出問題を解決するのに十分である、と結論付けている。
論文 参考訳（メタデータ） (2024-09-14T10:59:25Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - Attention Satisfies: A Constraint-Satisfaction Lens on Factual Errors of Language Models [38.79074982172423]
本稿では,トランスフォーマーを用いた大規模言語モデル (LLM) の内部動作について検討する。
本稿では,制約満足度問題として事実クエリをモデル化することを提案する。
制約トークンに対するLLMの注意と世代毎の事実的正確性との間には,強い正の相関関係が認められた。
論文 参考訳（メタデータ） (2023-09-26T17:48:55Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - Zero-shot Faithful Factual Error Correction [53.121642212060536]
事実の誤りを忠実に訂正することは、テキストの知識基盤の整合性を維持し、シーケンス・ツー・シーケンス・モデルにおける幻覚を防ぐために重要である。
提案するゼロショットフレームワークは,入力クレームに関する質問を定式化し,与えられたエビデンスにおける正しい回答を求め,そのエビデンスとの整合性に基づいて各補正の忠実さを評価する。
論文 参考訳（メタデータ） (2023-05-13T18:55:20Z) - BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of
Faithfulness Metrics [70.52570641514146]
不誠実な最小対 (BUMP) のベンチマークを示す。
BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。
非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
論文 参考訳（メタデータ） (2022-12-20T02:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。