論文の概要: LANTERN: Language Model Assessment on Noisy and Transformed Tasks for Understanding Error and Robustness Nuances

• arxiv url: http://arxiv.org/abs/2609.07309v1
• Date: Mon, 07 Sep 2026 10:26:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.409105
• Title: LANTERN: Language Model Assessment on Noisy and Transformed Tasks for Understanding Error and Robustness Nuances
• Title（参考訳）: LANTERN:誤りとロバストさの理解のための雑音および変換タスクの言語モデル評価
• Abstract要約: 複数の次元にわたる大規模言語モデル(LLM)を体系的に評価する。 これには、単語の誤り率、文字の繰り返しと重複、選択の修正、次の命令における可変性が含まれる。
• 参考スコア（独自算出の注目度）: 1.6594875418267307
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Robustness evaluation of large language models (LLMs) remains a critical challenge, particularly in assessing their sensitivity to perturbations in input data. In this work, we systematically evaluate LLM robustness across multiple dimensions, including word error rate, character repetition and duplication, modifications in choices, and variability in instruction following. To facilitate this evaluation, we construct a synthetic and augmented dataset encompassing a diverse set of LLM benchmarks, specifically targeting multiple-choice question (MCQ) datasets and instruction-following tasks. We conduct extensive experiments on LLMs of varying scales-small, medium, and large-as well as across base and instruction-tuned variants. Our analysis quantifies the variability in model responses under perturbed conditions and highlights discrepancies relative to baseline models. The findings provide insights into the stability of LLMs across different evaluation scenarios contributing to the development of more robust and reliable language models as well as robust evaluation methodologies.
• Abstract（参考訳）: 大規模言語モデル(LLM)のロバスト性評価は、特に入力データの摂動に対する感度を評価する上で、依然として重要な課題である。 本研究では, 単語誤り率, 文字繰り返しと重複, 選択の修正, 続く命令の可変性など, 複数次元にわたるLCMの頑健さを系統的に評価する。 この評価を容易にするために,多目的質問(MCQ)データセットと命令追従タスクを対象とする,多種多様なLCMベンチマークを含む合成・拡張データセットを構築した。 異なるスケール, 媒体, および大規模のLLMに対して, ベースおよび命令調整のバリエーションに対して, 広範囲にわたる実験を行った。 本分析は, 摂動条件下でのモデル応答のばらつきを定量化し, ベースラインモデルに対する相違点を明らかにする。 この結果は、より堅牢で信頼性の高い言語モデルの開発と、より堅牢な評価手法の開発に寄与する様々な評価シナリオにおけるLCMの安定性に関する洞察を提供する。

関連論文リスト

• Deconstructing Instruction-Following: A New Benchmark for Granular Evaluation of Large Language Model Instruction Compliance Abilities [2.9203730377983654]
  既存のベンチマークでは、実際の使用を反映したり、コンプライアンスをタスクの成功から分離することができない。 アプリケーション指向の生成制約を最大20個まで含む動的に生成されたデータセットを使用するモジュール型フレームワークであるMOSAICを紹介した。 コンプライアンスはモノリシックな機能ではなく、制約タイプ、量、位置によって大きく異なります。
  論文  参考訳（メタデータ） (2026-01-26T15:02:15Z)
• On Robustness and Reliability of Benchmark-Based Evaluation of LLMs [6.121856629864516]
  LLM(Large Language Models)の有効性は通常、MMLU、ARC-C、HellaSwagなどのベンチマークによって評価される。 実世界のアプリケーションは言語的多様性を伴い、同じ質問やクエリの様々なリワードでモデルの有効性を維持する必要がある。 そこで我々は,LLMの頑健さをベンチマーク問題に言い換えて体系的に評価し,ベンチマークに基づく評価がモデル能力の信頼性を評価できるかどうかを検証した。
  論文  参考訳（メタデータ） (2025-09-04T08:43:27Z)
• Evaluating Variance in Visual Question Answering Benchmarks [0.9065034043031668]
  視覚的質問応答(VQA)のための強力なツールとしてマルチモーダル大言語モデル(MLLM)が登場している。 それらの進歩にもかかわらず、VQAベンチマークにおけるMLLMの評価は、しばしば点推定に依存する。 本稿では、14の広く使用されているVQAベンチマークを分析し、これらの問題を批判的に検証する。
  論文  参考訳（メタデータ） (2025-08-04T17:37:13Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Statistical Runtime Verification for LLMs via Robustness Estimation [0.0]
  ランタイムクリティカルなアプリケーションにLLM(Large Language Models)を安全にデプロイするためには、逆の堅牢性検証が不可欠である。 ブラックボックス配置環境におけるLCMのオンライン実行時ロバスト性モニタとしての可能性を評価するために,RoMA統計検証フレームワークを適応・拡張するケーススタディを提案する。
  論文  参考訳（メタデータ） (2025-04-24T16:36:19Z)
• FACT-AUDIT: An Adaptive Multi-Agent Framework for Dynamic Fact-Checking Evaluation of Large Language Models [79.41859481668618]
  大規模言語モデル(LLM)はファクトチェック研究を大幅に進歩させた。 既存のファクトチェック評価手法は静的データセットと分類基準に依存している。 本稿では, LLMのファクトチェック機能を適応的かつ動的に評価するエージェント駆動型フレームワークであるFACT-AUDITを紹介する。
  論文  参考訳（メタデータ） (2025-02-25T07:44:22Z)
• Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [54.3895971080712]
  多様なデータセットを使用した細調整された大規模言語モデル(LLM)は、さまざまな領域にわたる全体的なパフォーマンス向上に不可欠である。 本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
  論文  参考訳（メタデータ） (2025-02-05T17:21:01Z)
• Exploring Robustness of LLMs to Paraphrasing Based on Sociodemographic Factors [7.312170216336085]
  我々は、SocialIQAデータセットを拡張して、社会デマログラフィー要因に基づく多様なパラフレーズセットを作成する。 人口統計に基づく言い回しが言語モデルの性能に大きな影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2025-01-14T17:50:06Z)
• Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
  本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。 分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-10T05:51:52Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• OLMES: A Standard for Language Model Evaluations [64.85905119836818]
  OLMESは、再現可能な言語モデル評価のための文書化された、実用的な、オープンな標準である。 これは、複数の質問の非自然的な「閉じた」定式化を必要とする小さなベースモデル間の有意義な比較をサポートする。 OLMESには、既存の文献の結果によってガイドされた、よく考えられたドキュメント化されたレコメンデーションと、オープンな質問を解決する新しい実験が含まれている。
  論文  参考訳（メタデータ） (2024-06-12T17:37:09Z)
• Revisit Input Perturbation Problems for LLMs: A Unified Robustness Evaluation Framework for Noisy Slot Filling Task [18.623619585980688]
  本研究では,大言語モデルの対話理解能力を評価するために,スロット充足タスクに基づく統一ロバストネス評価フレームワークを提案する。 具体的には,5種類の単一摂動と4種類の混合摂動データを含む入力摂動評価データセットであるノイズLLMを構築した。 本研究の目的は,LLMの様々なロバスト性評価手法が実世界の雑音のシナリオでどの程度機能するかを評価することである。
  論文  参考訳（メタデータ） (2023-10-10T10:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。