論文の概要: How Reliable are AMR Parser Outputs? Uncertainty Estimation for AMR Parsing

• arxiv url: http://arxiv.org/abs/2610.13236v1
• Date: Fri, 09 Oct 2026 08:53:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.484242
• Title: How Reliable are AMR Parser Outputs? Uncertainty Estimation for AMR Parsing
• Title（参考訳）: AMRパーサ出力はどの程度信頼性が高いか?
• Abstract要約: 本研究は、トップkビーム探索候補を用いたブラックボックス設定におけるAMRの不確実性推定の最初の研究である。 ペアの候補類似性から不確かさを推定し,予測回帰比を用いて評価する。 AMRを評価するための相補的次元として不確実性推定の値を示す実験結果が得られた。
• 参考スコア（独自算出の注目度）: 52.95137240316009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances have significantly improved the performance of Abstract Meaning Representation (AMR) parsers, yet determining when their outputs can be trusted remains largely unexplored. This work presents the first study of uncertainty estimation for AMR parsers in a black-box setting using top-k beam-search candidates. Uncertainty is estimated from pairwise candidate similarities and evaluated using the Prediction Rejection Ratio. This work characterises the relationship between parsing performance and uncertainty, evaluates the reliability of beam candidate distributions, analyses the effect of evaluation metrics on uncertainty assessment, and identifies parsers that provide the strongest balance between performance and reliability. Experimental results show the value of uncertainty estimation as a complementary dimension for evaluating AMR parsers.
• Abstract（参考訳）: 最近の進歩は抽象的意味表現(AMR)パーサの性能を大幅に向上させたが、その出力がいつ信頼できるかは明らかにされていない。 本研究は,トップkビーム探索候補を用いたブラックボックス設定におけるAMRパーサの不確実性評価に関する最初の研究である。 ペアの候補類似性から不確かさを推定し,予測回帰比を用いて評価する。 本研究は,解析性能と不確実性の関係を特徴づけ,ビーム候補分布の信頼性を評価し,評価指標が不確実性評価に与える影響を分析し,性能と信頼性のバランスを最強にする解析器を同定する。 実験結果から,AMR解析における相補的次元としての不確実性評価の価値が示された。

関連論文リスト

• Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis [57.78407973423517]
  我々は、モデルが人間の不一致を反映した不確実性を表現しながら予測する不確実性を考慮した主観性分析を提唱する。 この視点を運用するために,二相認識と不確実性アライメントの枠組みを提案する。 3つの主観的分析課題の実験は、DPUAが人間の不一致とモデルの不確実性をよりよく整合させながら、タスク性能を保っていることを示している。
  論文  参考訳（メタデータ） (2026-05-11T11:52:58Z)
• Robust Uncertainty Estimation under Distribution Shift via Difference Reconstruction [2.920726125254978]
  深層学習モデルの不確実性を推定することは、医用画像などの高精細な応用において、信頼性の高い意思決定に不可欠である。 以前の研究では、入力サンプルと再構成されたバージョンの違いが不確実性の指標となることが確認されている。 本研究では、2つの中間層からの入力を再構成し、その出力間の差を不確かさスコアとして測定することにより、この制限を緩和する差分再構成不確実性推定法(DRUE)を提案する。
  論文  参考訳（メタデータ） (2026-01-27T08:23:00Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• Towards Reliable LLM-based Robot Planning via Combined Uncertainty Estimation [68.106428321492]
  大規模言語モデル (LLM) は高度な推論能力を示し、ロボットが自然言語の命令を理解し、適切な接地で高レベルな計画を生成することができる。 LLMの幻覚は重大な課題であり、しばしば過度に信頼され、不一致または安全でない計画に繋がる。 本研究は, 信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性評価を別々に評価するものである。
  論文  参考訳（メタデータ） (2025-10-09T10:26:58Z)
• Uncertainty-Supervised Interpretable and Robust Evidential Segmentation [16.64288013782432]
  不確実性の推定は、信頼性を提供するツールとして、医用画像セグメンテーションにおいて広く研究されている。 従来手法では、不確実性推定の効果的な監督が欠如していた。 本研究では,不確実性の学習を指導する自己教師型アプローチを提案する。
  論文  参考訳（メタデータ） (2025-09-21T14:31:47Z)
• CCE: Confidence-Consistency Evaluation for Time Series Anomaly Detection [56.302586730134806]
  本稿では,新しい評価指標である信頼性・一貫性評価(CCE)を紹介する。 CCEは同時に、予測の信頼性と不確実性を測定する。 RankEvalは、さまざまなメトリクスのランキング機能を比較するためのベンチマークです。
  論文  参考訳（メタデータ） (2025-09-01T03:38:38Z)
• The Comparative Trap: Pairwise Comparisons Amplifies Biased Preferences of LLM Evaluators [31.520403357740317]
  大規模言語モデル (LLM) は、自然言語生成タスクの評価器としてますます使われている。 LLMは、冗長性や権威的なトーンを好むなど、バイアスのある好みを示す。 ペアワイズフレームワークにポイントワイズ推論を統合するPRePairを導入する。
  論文  参考訳（メタデータ） (2024-06-18T06:43:04Z)
• Decomposing Representations for Deterministic Uncertainty Estimation [34.11413246048065]
  我々は,現在の特徴密度に基づく不確実性推定器は,様々なOoD検出設定で一貫した性能を発揮できないことを示す。 本稿では,学習した表現を分解し,それらを個別に推定した不確実性を統合することを提案する。
  論文  参考訳（メタデータ） (2021-12-01T22:12:01Z)
• A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
  信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。 多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
  論文  参考訳（メタデータ） (2021-03-31T18:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。