論文の概要: R-U-SURE? Uncertainty-Aware Code Suggestions By Maximizing Utility Across Random User Intents

• arxiv url: http://arxiv.org/abs/2303.00732v2
• Date: Fri, 28 Apr 2023 22:36:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 18:26:06.186985
• Title: R-U-SURE? Uncertainty-Aware Code Suggestions By Maximizing Utility Across Random User Intents
• Title（参考訳）: R-U-SURE? ランダムユーザの意図を最大化することによる不確実性認識コードの提案
• Authors: Daniel D. Johnson, Daniel Tarlow, Christian Walder
• Abstract要約: 大規模言語モデルは、コードのような構造化されたテキストを予測する上で印象的な結果を示すが、一般的にはエラーや幻覚を出力に導入する。 ランダム化ユーティリティ駆動型不確実領域合成(R-U-SURE)を提案する。 R-U-SUREは、ゴール条件付きユーティリティの意思決定理論モデルに基づく不確実性を考慮した提案を構築するためのアプローチである。
• 参考スコア（独自算出の注目度）: 14.455036827804541
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models show impressive results at predicting structured text such as code, but also commonly introduce errors and hallucinations in their output. When used to assist software developers, these models may make mistakes that users must go back and fix, or worse, introduce subtle bugs that users may miss entirely. We propose Randomized Utility-driven Synthesis of Uncertain REgions (R-U-SURE), an approach for building uncertainty-aware suggestions based on a decision-theoretic model of goal-conditioned utility, using random samples from a generative model as a proxy for the unobserved possible intents of the end user. Our technique combines minimum-Bayes-risk decoding, dual decomposition, and decision diagrams in order to efficiently produce structured uncertainty summaries, given only sample access to an arbitrary generative model of code and an optional AST parser. We demonstrate R-U-SURE on three developer-assistance tasks, and show that it can be applied different user interaction patterns without retraining the model and leads to more accurate uncertainty estimates than token-probability baselines. We also release our implementation as an open-source library at https://github.com/google-research/r_u_sure.
• Abstract（参考訳）: 大きな言語モデルは、コードのような構造化されたテキストを予測するのに印象的な結果を示すが、一般的にはエラーや幻覚を出力に導入する。 ソフトウェア開発者を支援するために使用される場合、これらのモデルは、ユーザーが戻って修正しなければならないミスを犯すかもしれません。 本稿では,目標条件付きユーティリティの意思決定理論モデルに基づく不確実性認識提案手法である不確実性領域(r-u-sure)のランダム化ユーティリティ駆動合成を提案する。 本手法は,任意の生成モデルとオプションastパーサへのサンプルアクセスのみを与えられた場合,構造化不確実性サマリーを効率的に生成するために,最小ベイズ・リスク復号,二重分解,決定ダイアグラムを組み合わせる。 3つの開発者支援タスクについてR-U-SUREを実演し、モデルを再トレーニングすることなく異なるユーザインタラクションパターンを適用することができることを示す。 また、実装をオープンソースライブラリとしてhttps://github.com/google-research/r_u_sureでリリースしています。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)における最初の形式的確率的評価フレームワークを紹介する。 モデルの出力分布に関する高い確率保証を持つ新しい指標を導出する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification [1.90365714903665]
  このハンズオン導入は、配布不要なUQの実践的な実装に関心のある読者を対象としている。 PyTorch構文で、Pythonで説明的なイラストやサンプル、コードサンプルを多数含みます。
  論文  参考訳（メタデータ） (2021-07-15T17:59:50Z)
• Multi-output Gaussian Processes for Uncertainty-aware Recommender Systems [3.908842679355254]
  モデルトレーニングと推論のための効率的な戦略を導入し、その結果、非常に大きくスパースなデータセットにスケールするモデルを生み出します。 我々のモデルは、その予測の定量化に関する有意義な不確実性推定も提供する。
  論文  参考訳（メタデータ） (2021-06-08T10:01:14Z)
• VAE Approximation Error: ELBO and Conditional Independence [78.72292013299868]
  本稿では,ELBO目標とエンコーダ確率系列の選択の組み合わせによるVAE近似誤差を解析する。 より深いエンコーダネットワークを考慮すれば,ELBOサブセットを拡大することができず,各エラーを低減できないことを示す。
  論文  参考訳（メタデータ） (2021-02-18T12:54:42Z)
• Bayes DistNet -- A Robust Neural Network for Algorithm Runtime Distribution Predictions [1.8275108630751844]
  ランダム化アルゴリズムは制約満足度問題 (CSP) やブール満足度問題 (SAT) の多くの最先端の解法で用いられている。 従来の最先端の手法は、入力インスタンスが従う固定パラメトリック分布を直接予測しようとする。 この新モデルは,低観測環境下での堅牢な予測性能と,検閲された観測処理を実現する。
  論文  参考訳（メタデータ） (2020-12-14T01:15:39Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。