Fugu-MT 論文翻訳(概要): Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models

論文の概要: Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models

arxiv url: http://arxiv.org/abs/2503.01332v1
Date: Mon, 03 Mar 2025 09:16:26 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-05 19:25:15.100304
Title: Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models
Title（参考訳）: 言語モデルにおけるリスク意識決定の検討
Authors: Cheng-Kuang Wu, Zhi Rui Tam, Chieh-Yen Lin, Yun-Nung Chen, Hung-yi Lee,
Abstract要約: リスク対応意思決定のタスクを形式化し、既存のLMの重大な弱点を明らかにするとともに、スキル分解ソリューションを提案する。本研究は, 最先端のLM (正規モデルと推論モデルの両方) であっても, タスクを効果的に処理するためには, 明示的なプロンプト連鎖が必要であることを示唆している。
参考スコア（独自算出の注目度）: 63.54557575233165
License:
Abstract: Knowing when to answer or refuse is crucial for safe and reliable decision-making language agents. Although prior work has introduced refusal strategies to boost LMs' reliability, how these models adapt their decisions to different risk levels remains underexplored. We formalize the task of risk-aware decision-making, expose critical weaknesses in existing LMs, and propose skill-decomposition solutions to mitigate them. Our findings show that even cutting-edge LMs--both regular and reasoning models--still require explicit prompt chaining to handle the task effectively, revealing the challenges that must be overcome to achieve truly autonomous decision-making agents.
Abstract（参考訳）: いつ答えるか、拒否するかを知ることは、安全で信頼できる意思決定言語エージェントにとって不可欠である。これまでの作業では、LMの信頼性を高めるための拒絶戦略が導入されたが、これらのモデルがどのようにして異なるリスクレベルに適応するかは未定のままである。リスク対応意思決定のタスクを形式化し、既存のLMの重大な弱点を明らかにし、それらを緩和するためのスキル分解ソリューションを提案する。本研究は, 従来型, 推論モデルともに最先端のLMであっても, タスクを効果的に処理するために明確なプロンプト連鎖が必要であり, 真に自律的な意思決定エージェントを実現するためには克服すべき課題を明らかにした。

関連論文リスト

Are Smarter LLMs Safer? Exploring Safety-Reasoning Trade-offs in Prompting and Fine-Tuning [40.55486479495965]
大規模言語モデル (LLM) は様々なNLPベンチマークで顕著な成功を収めている。本研究では,LLMにおける推論と安全性の相互作用について検討する。推論能力が向上し、これまで見過ごされていた脆弱性に光を当てることによって生じる、潜伏する安全性のリスクを強調します。
論文参考訳（メタデータ） (2025-02-13T06:37:28Z)
RACQUET: Unveiling the Dangers of Overlooked Referential Ambiguity in Visual LLMs [29.832360523402592]
本稿では,画像に基づく質問応答におけるあいまいさの異なる側面を対象とするデータセットであるRACQUETを紹介する。我々は、その応答のあいまいさに対処する上で、最先端の大規模マルチモーダル言語モデルの過信に関する重大な制限と問題を明らかにする。本結果は, 望ましくないステレオタイプに頼らずに不確実性に対処する頑健な戦略を持つモデルの導入の緊急性を強調した。
論文参考訳（メタデータ） (2024-12-18T13:25:11Z)
Navigating the Risks: A Survey of Security, Privacy, and Ethics Threats in LLM-Based Agents [67.07177243654485]
この調査は、大規模言語モデルに基づくエージェントが直面するさまざまな脅威を収集、分析する。 LLMをベースとしたエージェントの6つの重要な特徴を概説する。 4つの代表エージェントをケーススタディとして選択し,実践的に直面する可能性のあるリスクを分析した。
論文参考訳（メタデータ） (2024-11-14T15:40:04Z)
Defining and Evaluating Decision and Composite Risk in Language Models Applied to Natural Language Inference [3.422309388045878]
ChatGPTのような大規模言語モデル(LLM)は、重大なリスクをもたらすことが知られている。モデルが推論に持っている過信または過信から、誤った信頼が生じる。本稿では,2段階の推論アーキテクチャと,そのようなリスクを測定するための適切な指標からなる実験フレームワークを提案する。
論文参考訳（メタデータ） (2024-08-04T05:24:32Z)
ABI Approach: Automatic Bias Identification in Decision-Making Under Risk based in an Ontology of Behavioral Economics [46.57327530703435]
損失回避のようなバイアスによって引き起こされる損失に対する優先順位を求めるリスクは、課題を引き起こし、深刻なネガティブな結果をもたらす可能性がある。本研究は,リスクサーチの選好を自動的に識別し,説明することにより,組織意思決定者を支援する新しいソリューションであるABIアプローチを紹介する。
論文参考訳（メタデータ） (2024-05-22T23:53:46Z)
Relying on the Unreliable: The Impact of Language Models' Reluctance to Express Uncertainty [53.336235704123915]
提案手法は, 自然言語による応答の信頼度と, LMによる不確実性に応答して下流ユーザーがどのように振る舞うかを考察する。誤応答を生じた場合でも,LMは疑問に答える際の不確実性を表現することに消極的であることがわかった。我々は、人間の実験によって、LM過信のリスクを検証し、ユーザがLM世代に大きく依存していることを示します。最後に、トレーニング後のアライメントに使用する嗜好アノテートデータセットを調査し、不確実性のあるテキストに対して人間がバイアスを受けていることを確認する。
論文参考訳（メタデータ） (2024-01-12T18:03:30Z)
Risk-reducing design and operations toolkit: 90 strategies for managing risk and uncertainty in decision problems [65.268245109828]
本稿では,このような戦略のカタログを開発し,それらのためのフレームワークを開発する。高い不確実性のために難解であるように見える決定問題に対して、効率的な応答を提供する、と論じている。次に、多目的最適化を用いた決定理論にそれらを組み込む枠組みを提案する。
論文参考訳（メタデータ） (2023-09-06T16:14:32Z)
On solving decision and risk management problems subject to uncertainty [91.3755431537592]
不確実性は意思決定とリスク管理において広範囲にわたる課題である。本稿では,このような戦略を体系的に理解し,その適用範囲を判断し,それらをうまく活用するための枠組みを開発する。
論文参考訳（メタデータ） (2023-01-18T19:16:23Z)
Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
論文参考訳（メタデータ） (2022-03-14T17:40:42Z)
Enhancing Covid-19 Decision-Making by Creating an Assurance Case for Simulation Models [7.241250079741012]
我々は、重要な政策決定を導くのに使用される新型コロナウイルスのシミュレーションモデルが、保証ケースで支持されることの恩恵を受けると論じている。これにより、モデリングにおける暗黙の仮定と固有の不確実性に対する批判的なレビューが可能になり、全体的な意思決定プロセスの透明性と説明責任が向上する。
論文参考訳（メタデータ） (2020-05-17T22:07:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。