論文の概要: LADDER: Diagnosing Domain-Level Self-Assessment Under Noisy Feedback

• arxiv url: http://arxiv.org/abs/2610.34737v1
• Date: Mon, 26 Oct 2026 02:38:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.687376
• Title: LADDER: Diagnosing Domain-Level Self-Assessment Under Noisy Feedback
• Title（参考訳）: LADDER:ノイズフィードバックによるドメインレベル自己評価の診断
• Abstract要約: LADDERは、信頼できないフィードバックの下で言語モデルがどのように評価するかを研究する。 モデルは、インタラクションエクスペリエンスから信頼できる自己評価を形成するのに苦労しながら、供給されたパフォーマンス情報を正確に報告できることを示している。
• 参考スコア（独自算出の注目度）: 17.00415849841548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowing when they are reliable is essential for language models to support human-AI collaboration. Yet interaction feedback is not always complete or correct, and may mislead models' understanding of their own capabilities. We introduce LADDER to study how language models assess themselves under unreliable feedback. Our findings show that models can accurately report supplied performance information while still struggling to form trustworthy self-assessments from interaction experience. Apparently accurate assessments can obscure capability differences and do not necessarily predict future task performance. These findings suggest that trustworthy self-assessment should be evaluated against observed task performance and its predictive value. Our study provides empirical evidence of the limits of model self-knowledge and a basis for evaluating capability awareness in reliable human-AI collaboration.
• Abstract（参考訳）: 言語モデルが人間とAIのコラボレーションをサポートするためには、いつ信頼できるかを知ることが不可欠だ。 しかし、インタラクションのフィードバックは必ずしも完全あるいは正しいというわけではなく、モデルが自身の能力について理解していることを誤解させる可能性がある。 LADDERを導入し、信頼できないフィードバックの下で言語モデルがどのように自己を評価するかを検討する。 この結果から, モデルが信頼性の高い自己評価を行うのに苦慮しながら, 提供した実績情報を正確に報告できることが示唆された。 明らかに正確な評価は、機能の違いを曖昧にし、将来のタスクパフォーマンスを必ずしも予測しない。 これらの結果から,信頼性の高い自己評価は,観察された課題性能とその予測値に対して評価されるべきであることが示唆された。 本研究は,モデル自己知識の限界の実証的証拠と,信頼性の高い人間-AIコラボレーションにおける能力意識評価の基礎を提供する。

関連論文リスト

• Beyond Confidence: Rethinking Self-Assessments for Performance Prediction in LLMs [3.532798393283516]
  モデル自己評価の多次元的視点を提案する。 我々は自信とともに6つの評価に基づく自己評価の次元を導き出す。 能力に関する評価の次元、特に努力と能力は、一貫して一致し、信頼性よりも優れています。
  論文  参考訳（メタデータ） (2026-05-08T14:41:35Z)
• Rationales Are Not Silver Bullets: Measuring the Impact of Rationales on Model Performance and Reliability [70.4107059502882]
  有理数拡張による学習言語モデルは、多くの既存の作品において有益であることが示されている。 モデル性能に対する合理的性の影響を徹底的に調査するため、包括的調査を行う。
  論文  参考訳（メタデータ） (2025-05-30T02:39:37Z)
• Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
  AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。 AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。 さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
  論文  参考訳（メタデータ） (2025-05-28T20:22:43Z)
• On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
  マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました 埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。 提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
  論文  参考訳（メタデータ） (2024-11-21T09:46:55Z)
• Why Would You Suggest That? Human Trust in Language Model Responses [0.3749861135832073]
  フレーミングと説明の存在がユーザ信頼とモデルパフォーマンスにどのように影響するかを分析する。 今後の研究は、人間と機械のチームリングシステムにおける信頼度の評価を、より深く掘り下げることを目的としている。
  論文  参考訳（メタデータ） (2024-06-04T06:57:47Z)
• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
  生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。 認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。 本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
  論文  参考訳（メタデータ） (2024-05-28T22:45:28Z)
• More RLHF, More Trust? On The Impact of Preference Alignment On Trustworthiness [24.843692458375436]
  本研究では,5つの信頼性分野において,汎用的嗜好データに整合したモデルがどのように機能するかを検討する。 ヒトの嗜好に対するRLHFは、自動的に信頼性を保証せず、しばしば逆効果が観察される。 本稿では,RLHF設定に効率的な影響関数に基づくデータ帰属手法を適用し,個々の信頼性ベンチマークに対する微調整データの影響をよりよく理解するために提案する。
  論文  参考訳（メタデータ） (2024-04-29T17:00:53Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Improving Factual Consistency Between a Response and Persona Facts [64.30785349238619]
  応答生成のためのニューラルネットワークは、意味論的に妥当であるが、必ずしも話者のペルソナを記述する事実と矛盾しない応答を生成する。 我々は,これらのモデルを強化学習により微調整し,応答とペルソナ事実の一貫性と意味的妥当性を明確に把握する効率的な報酬関数を提案する。
  論文  参考訳（メタデータ） (2020-04-30T18:08:22Z)
• What's a Good Prediction? Challenges in evaluating an agent's knowledge [0.9281671380673306]
  一般知識の精度と有用性の矛盾を示す。 本稿では,オンライン連続学習環境において連続的に発生する代替評価手法を提案する。 本稿では,その利用による予測評価について初めて考察する。
  論文  参考訳（メタデータ） (2020-01-23T21:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。