論文の概要: Uncertainty in Natural Language Generation: From Theory to Applications

• arxiv url: http://arxiv.org/abs/2307.15703v1
• Date: Fri, 28 Jul 2023 17:51:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 11:45:44.464053
• Title: Uncertainty in Natural Language Generation: From Theory to Applications
• Title（参考訳）: 自然言語生成の不確実性:理論から応用へ
• Authors: Joris Baan, Nico Daheim, Evgenia Ilia, Dennis Ulmer, Haau-Sing Li, Raquel Fern\'andez, Barbara Plank, Rico Sennrich, Chrysoula Zerva, Wilker Aziz
• Abstract要約: 我々は,不確実性に対する原則的対応が,これらの目標に適合するシステムや評価プロトコルの作成に有効であると主張している。 まず,不確実性を表現するために必要な基本理論,枠組み,語彙について述べる。 そこで,本研究では,一般的なアレタリック/エピステミック二分法よりも情報的かつ忠実な2次元分類法を提案する。
• 参考スコア（独自算出の注目度）: 42.55924708592451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances of powerful Language Models have allowed Natural Language Generation (NLG) to emerge as an important technology that can not only perform traditional tasks like summarisation or translation, but also serve as a natural language interface to a variety of applications. As such, it is crucial that NLG systems are trustworthy and reliable, for example by indicating when they are likely to be wrong; and supporting multiple views, backgrounds and writing styles -- reflecting diverse human sub-populations. In this paper, we argue that a principled treatment of uncertainty can assist in creating systems and evaluation protocols better aligned with these goals. We first present the fundamental theory, frameworks and vocabulary required to represent uncertainty. We then characterise the main sources of uncertainty in NLG from a linguistic perspective, and propose a two-dimensional taxonomy that is more informative and faithful than the popular aleatoric/epistemic dichotomy. Finally, we move from theory to applications and highlight exciting research directions that exploit uncertainty to power decoding, controllable generation, self-assessment, selective answering, active learning and more.
• Abstract（参考訳）: 近年の強力な言語モデルの発展により、自然言語生成(NLG)は、要約や翻訳といった従来のタスクだけでなく、さまざまなアプリケーションに対する自然言語インタフェースとしても機能する重要な技術として登場した。 そのため、NLGシステムは、いつ間違っているかを示すこと、複数のビュー、バックグラウンド、書き込みスタイルをサポートすることで、多様な人間のサブ人口を反映して、信頼性が高く信頼性が高いことが重要である。 本稿では,不確実性に対する原則的対処が,これらの目標に適合したシステムや評価プロトコルの創出を支援することを論じる。 まず,不確実性を表現するのに必要な基本理論,フレームワーク,語彙について述べる。 そこで我々は,言語学的観点から,NLGの主な不確実性源を特徴付け,一般的なアレタリック/エピステミック二分法よりも情報的かつ忠実な2次元分類法を提案する。 最後に, 理論から応用へ移行し, 不確かさを活用し, パワーデコード, 制御可能な生成, 自己評価, 選択応答, アクティブ学習などを行う, エキサイティングな研究方向を強調する。

関連論文リスト

• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Proceedings of the First International Workshop on Next-Generation Language Models for Knowledge Representation and Reasoning (NeLaMKRR 2024) [16.282850445579857]
  推論は人間の知性の本質的な要素であり、批判的に考える能力において基本的な役割を果たす。 自然言語処理における最近の進歩は、トランスフォーマーに基づく言語モデルの出現とともに、これらのモデルが推論能力を示す可能性を示唆している。 言語モデルにおける推論について議論が続いているが、これらのモデルが実際に推論できる程度に注目することは容易ではない。
  論文  参考訳（メタデータ） (2024-10-07T02:31:47Z)
• Towards Bridging the Digital Language Divide [4.234367850767171]
  多言語言語処理システムは、しばしばハードワイヤで、通常不随意で、特定の言語に対して隠された表現的嗜好を示す。 偏りのある技術は、しばしば表現される言語の複雑さに不公平な研究・開発手法の結果であることを示す。 我々は,技術設計と方法論の両面から,言語バイアスを減らすことを目的とした新しいイニシアティブを提案する。
  論文  参考訳（メタデータ） (2023-07-25T10:53:20Z)
• From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought [124.40905824051079]
  言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。 我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。 LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。 認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2023-06-22T05:14:00Z)
• On the Amplification of Linguistic Bias through Unintentional Self-reinforcement Learning by Generative Language Models -- A Perspective [2.458437232470188]
  ジェネレーティブ言語モデル(GLM)は、言語景観を著しく形作る可能性がある。 本稿では,GLMの初期バイアスが生成したテキストに反映される現象が,その後のモデルの学習材料に反映される可能性について考察する。 この潜在的な自己強化サイクルの影響は、モデル自体を超えて、人間の言語や言論に影響を与える。
  論文  参考訳（メタデータ） (2023-06-12T14:17:05Z)
• Dealing with Semantic Underspecification in Multimodal NLP [3.5846770619764423]
  人間として言語を習得しようとするインテリジェントなシステムは、その意味的過小評価に対処しなければならない。 標準のNLPモデルは、原則として、そのような余分な情報にアクセスできないか制限されている。 言語を他のモダリティ、例えば視覚に基礎を置くマルチモーダルシステムは、この現象を説明するために自然に装備されている。
  論文  参考訳（メタデータ） (2023-06-08T14:39:24Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• An Inclusive Notion of Text [69.36678873492373]
  テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。 言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
  論文  参考訳（メタデータ） (2022-11-10T14:26:43Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。