論文の概要: Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation

• arxiv url: http://arxiv.org/abs/2606.17234v1
• Date: Mon, 15 Jun 2026 19:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.116498
• Title: Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation
• Title（参考訳）: 自己評価トーグで語る:機械翻訳におけるLLMの言語的信頼について
• Authors: Ali Marashian, Alexis Palmer, Katharina von der Wense,
• Abstract要約: 予測確率のような内部信号に基づく教師なしのアプローチは、正確性ではなく選択肢間の確実性を反映しているため、誤解を招く可能性がある。 我々は,これらの欠点を伴わずにLLM毎の信頼度を抽出し,その信頼性をモデルの内部信号の確実性と比較する5つの言語化手法を考案した。 内部的手法と言語的手法の相関はほとんど見つからない。
• 参考スコア（独自算出の注目度）: 20.39535344813245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid rise in popularity of large language models (LLMs) for translation calls for a thorough study of the reliability of their confidence in their own outputs. Unlike many generation tasks, translation errors and confidence levels can be useful at different levels of granularity (tokens, words, or spans). Unsupervised approaches based on internal signals like predicted probabilities can be misleading because they reflect certainty among alternatives rather than correctness. In addition, they require access to such internal signals. Here, we devise five verbalized methods of extracting an LLM's per-token confidence without those shortcomings and compare their reliability with that of the model's internal signals of certainty. We evaluate reliability using two forms of alignment: fine-grained error detection and calibration. For both, internal and verbalized methods perform similarly, although results vary by model. Interestingly, we find little to no correlation between internal and verbalized methods.
• Abstract（参考訳）: 翻訳用大言語モデル(LLM)の急速な普及は、彼らの出力に対する信頼性の徹底的な研究を呼び起こす。 多くの世代タスクとは異なり、翻訳エラーと信頼レベルは、異なるレベルの粒度(トークン、単語、スパン)で有用である。 予測確率のような内部信号に基づく教師なしのアプローチは、正確性ではなく選択肢間の確実性を反映しているため、誤解を招く可能性がある。 さらに、そのような内部信号へのアクセスも必要である。 そこで我々は,これらの欠点を伴わずにLLM毎の信頼度を抽出し,その信頼性をモデルの内部信号の確実性と比較する5つの言語化手法を考案した。 我々は2種類のアライメント(微粒な誤差検出と校正)を用いて信頼性を評価する。 内部的手法も言語的手法も同じように動作するが、結果はモデルによって異なる。 興味深いことに、内部的手法と言語的手法の相関はほとんど見つからない。

関連論文リスト

• Identifying Influential N-grams in Confidence Calibration via Regression Analysis [53.95767806659635]
  回帰法を適用することにより,言語表現が信頼とどのような関係があるかを明らかにする。 我々は,大言語モデル (LLM) が推論に関わる場合,過度に信頼されていることを示す。 性能低下を伴わずに過信表現を単純に抑えることで、信頼度校正が可能であることを明らかにした。
  論文  参考訳（メタデータ） (2026-04-07T11:58:49Z)
• Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs [31.99173240336646]
  大規模言語モデルにおける言語過信は、識別可能な内部回路によって駆動されることを示す。 以上の結果から, LLMにおける言語過信は, 識別可能な内部回路によって駆動され, 目的の介入によって緩和される可能性が示唆された。
  論文  参考訳（メタデータ） (2026-04-01T23:06:58Z)
• Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
  我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。 現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
  論文  参考訳（メタデータ） (2025-09-29T02:34:30Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
  LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。 本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
  論文  参考訳（メタデータ） (2025-08-11T16:12:36Z)
• Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
  大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。 我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。 モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-27T16:24:02Z)
• Uncertainty Distillation: Teaching Language Models to Express Semantic Confidence [16.311538811237536]
  大規模言語モデル (LLM) は、事実質問に対する回答にますます使われている。 これらの不確実性の言葉化表現が意味を持つためには、表現された信頼度レベルでエラー率を反映すべきである。 そこで本研究では,LLMにセマンティック信頼度を校正する簡単な方法である不確かさ蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-03-18T21:29:29Z)
• On Verbalized Confidence Scores for LLMs [25.160810008907397]
  大規模言語モデル(LLM)の不確実性定量化は、その応答に対するより人間的な信頼を確立することができる。 この研究は、出力トークンの一部として信頼度スコアで不確実性を言語化するようLLM自身に求めることに重点を置いている。 我々は、異なるデータセット、モデル、およびプロンプトメソッドに関して、言語化された信頼度スコアの信頼性を評価する。
  論文  参考訳（メタデータ） (2024-12-19T11:10:36Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。