論文の概要: Maximizing LLM Utility While Managing LLM Fallibility
- arxiv url: http://arxiv.org/abs/2611.17020v1
- Date: Thu, 12 Nov 2026 16:09:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.546987
- Title: Maximizing LLM Utility While Managing LLM Fallibility
- Title(参考訳): LLMのフォールビリティ管理におけるLCMの有用性の最大化
- Abstract要約: 大規模言語モデル(LLM)は、計画、予測、判断を自律システムに提供することができる。
このレビューでは、システムがLCMの実用性を最大化しつつ、その誤認性を管理しているかどうかを問う。
- 参考スコア(独自算出の注目度): 4.685954926214927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) can supply autonomous systems with plans, predictions, and judgments, but these contributions are sometimes wrong. This review asks how a system can maximize an LLM's utility while managing its fallibility. Our answer is to adapt the system's reliance on the LLM as evidence about the LLM's performance accumulates. Systems built from imperfect components, such as noisy sensors and faulty software, have long worked in this way, and the classical methods they use can be applied to LLM-based systems as well. A system can change its reliance on an LLM in several ways, depending on the LLM's role and on the other components in the system. Each change needs an estimate of the LLM's reliability, and the LLM's role and the kind of contribution it makes determine what to estimate. Classical methods from decision theory, estimation, and online learning then turn these estimates into reliance decisions. These decisions can reduce how often LLM errors affect the system. However, some errors matter even when they are rare. An independently verified mechanism can prevent such errors from being executed. Without one, adapting reliance using reliability estimates can still keep their risk within a bound. Studies on adapting reliance on LLMs are emerging but limited, and the reviewed comparisons suggest that adapting reliance can improve system performance.
- Abstract(参考訳): 大規模言語モデル(LLM)は、計画、予測、判断を自律システムに提供することができるが、これらの貢献は時に間違っている。
このレビューでは、システムがLCMの実用性を最大化しつつ、その誤認性を管理しているかどうかを問う。
我々の答えは、LLMの性能を示す証拠が蓄積されるにつれて、LLMに対するシステムの依存に適応することである。
ノイズの多いセンサーや欠陥のあるソフトウェアのような不完全なコンポーネントで構築されたシステムは、長い間この方法で動作しており、それらが使用する古典的な手法はLLMベースのシステムにも適用することができる。
システムは、LLMの役割やシステム内の他のコンポーネントに依存して、いくつかの方法でLLMへの依存を変更することができる。
各変更には、LCMの信頼性と、LCMの役割とそれが見積もるコントリビューションの種類を見積もる必要があります。
意思決定理論、推定、オンライン学習といった古典的な手法は、これらの見積もりを信頼決定に変換する。
これらの決定は、LLMエラーがシステムにどの程度の頻度で影響するかを減らせる。
しかし、一部の誤りは希少な時でも問題となる。
独立して確認されたメカニズムは、そのようなエラーが実行されるのを防ぐことができる。
信頼度見積による信頼度の変化がなければ、リスクを限界内に保持することが可能になる。
LLMへの適合性の研究は進んでいるが限定的であり, 再検討の結果, 適応性によるシステム性能の向上が示唆された。
関連論文リスト
- Exploring LLM-based Frameworks for Fault Diagnosis [2.2562573557834686]
大規模言語モデル(LLM)に基づくシステムは,センサリッチ産業環境における自律型健康モニタリングの新たな機会を提供する。
本研究では,LLMがセンサデータから直接障害を検出し,分類すると同時に,自然言語の推論を通じて本質的に説明可能なアウトプットを生成する可能性について検討する。
論文 参考訳(メタデータ) (2025-09-27T04:53:15Z) - LLM4VV: Evaluating Cutting-Edge LLMs for Generation and Evaluation of Directive-Based Parallel Programming Model Compiler Tests [7.6818904666624395]
本稿では,コンパイラテストの生成にLLMを用いたデュアルLLMシステムと実験について述べる。
LLMは、品質の高いコンパイラテストを生成し、それらを自動的に検証する有望な可能性を持っていることは明らかである。
論文 参考訳(メタデータ) (2025-07-29T02:34:28Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳(メタデータ) (2025-02-15T02:55:22Z) - Latent Space Chain-of-Embedding Enables Output-free LLM Self-Evaluation [45.059818539256426]
我々は,LLMが出力不要な自己評価を行うことを可能にするために,潜在空間におけるChain-of-Embedding (CoE)を提案する。
CoEは、LLMの潜在的思考経路として扱うことができる、推論時間中に生成される全ての進行的な隠れ状態から構成される。
論文 参考訳(メタデータ) (2024-10-17T15:09:24Z) - Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。
既存の評価は最終的な成功率にのみ依存する傾向がある。
本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
論文 参考訳(メタデータ) (2024-10-09T17:59:00Z) - Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。
LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。
LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文 参考訳(メタデータ) (2023-10-15T12:40:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。