論文の概要: How Ambiguous are the Rationales for Natural Language Reasoning? A Simple Approach to Handling Rationale Uncertainty

• arxiv url: http://arxiv.org/abs/2402.14337v2
• Date: Sat, 23 Nov 2024 21:16:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:17:01.383003
• Title: How Ambiguous are the Rationales for Natural Language Reasoning? A Simple Approach to Handling Rationale Uncertainty
• Title（参考訳）: 自然言語推論の合理化はどの程度曖昧か? : Rationale不確実性を扱うための簡単なアプローチ
• Authors: Hazel Kim,
• Abstract要約: 答の背後にある合理性は、モデル決定を説明するだけでなく、複雑な推論タスクをうまく推理するために言語モデルを促進する。 モデルパフォーマンスを促進するのに十分な根拠が忠実である程度を見積もるのは簡単ではない。 本稿では,不完全理理性に対処する方法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Rationales behind answers not only explain model decisions but boost language models to reason well on complex reasoning tasks. However, obtaining impeccable rationales is often impossible. Besides, it is non-trivial to estimate the degree to which the rationales are faithful enough to encourage model performance. Thus, such reasoning tasks often compel models to output correct answers under undesirable rationales and are sub-optimal compared to what the models are fully capable of. In this work, we propose how to deal with imperfect rationales causing aleatoric uncertainty. We first define the ambiguous rationales with entropy scores of given rationales, using model prior beliefs as informativeness. We then guide models to select one of two different reasoning models according to the ambiguity of rationales. We empirically argue that our proposed method produces robust performance superiority against the adversarial quality of rationales and low-resource settings.
• Abstract（参考訳）: 答の背後にある合理性は、モデル決定を説明するだけでなく、複雑な推論タスクをうまく推理するために言語モデルを促進する。 しかし、不可能な理性を得ることはしばしば不可能である。 さらに、モデルパフォーマンスを促進するのに十分な根拠が忠実である程度を見積もるのは簡単ではない。 したがって、そのような推論タスクは、しばしばモデルに望ましくない理性の下で正しい答えを出力させ、モデルが完全に可能なものと比較して準最適である。 本研究では,不完全理性に対処する手法を提案する。 まず、与えられた有理数のエントロピースコアを持つ曖昧な有理数を定義する。 次に、有理性のあいまいさに応じて2つの異なる推論モデルのうちの1つを選択するよう、モデルを誘導する。 提案手法は,論理の逆品質や低リソース設定に対して,頑健な性能上の優位性をもたらすことを実証的に論じる。

関連論文リスト

• Boosting the Power of Small Multimodal Reasoning Models to Match Larger Models with Self-Consistency Training [49.3242278912771]
  マルチモーダル推論(multimodal reasoning)は、複数のモーダルをまたいだモデルによる質問に答える難しいタスクである。 既存のアプローチでは、言語と視覚のモダリティを2段階の推論フレームワークに組み込むことで進歩している。 MC-CoTは,複数の合理性と回答を生成し,投票プロセスを通じて最も正確な選択を行う自己整合性学習戦略である。
  論文  参考訳（メタデータ） (2023-11-23T17:09:48Z)
• Characterizing Large Language Models as Rationalizers of Knowledge-intensive Tasks [6.51301154858045]
  大規模言語モデル(LLM)は、タスク固有の最小限の監督力を持つ流動的なテキストを生成するのに熟練している。 専門家による事例を数ショットで表現することで,自然言語における知識誘導的合理化の課題を考察する。 驚いたことに、群衆労働者はクラウドソースの合理化よりも知識に基づく合理化を好んだ。
  論文  参考訳（メタデータ） (2023-11-09T01:04:44Z)
• MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
  複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。 推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。 この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
  論文  参考訳（メタデータ） (2022-10-22T16:01:13Z)
• Rationale-Augmented Ensembles in Language Models [53.45015291520658]
  我々は、数発のテキスト内学習のための合理化促進策を再考する。 我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。 有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-02T06:20:57Z)
• Can Rationalization Improve Robustness? [39.741059642044874]
  ニューラルNLPモデルが、その解釈可能な性質に加えて、敵攻撃に対して堅牢性をもたらすかどうかを検討する。 トークンと文レベルの合理化タスクの両方に対して,さまざまなタイプのAddText攻撃を生成する。 実験の結果、合理的モデルでは、特定のシナリオで苦労しながら、堅牢性を改善するという約束が示されることがわかった。
  論文  参考訳（メタデータ） (2022-04-25T17:02:42Z)
• The Irrationality of Neural Rationale Models [6.159428088113691]
  反対に、哲学的視点と経験的証拠の両方で、有理モデルが、おそらく予想よりも合理的で解釈可能でないことを示唆している。 我々はこれらのモデルのより厳密で包括的な評価を求め、解釈可能性の望ましい特性が実際に達成されることを確実にする。
  論文  参考訳（メタデータ） (2021-10-14T17:22:10Z)
• Rationales for Sequential Predictions [117.93025782838123]
  シーケンスモデルは現代のNLPシステムにおいて重要な要素であるが、それらの予測は説明が難しい。 モデル説明は有理だが、個々のモデル予測を説明できる文脈のサブセットを考える。 この目的を近似する効率的なグリードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-14T01:25:15Z)
• Measuring Association Between Labels and Free-Text Rationales [60.58672852655487]
  解釈可能なNLPでは、説明された例に対するモデルの意思決定プロセスを反映した忠実な理性が必要です。 情報抽出型タスクに対する忠実な抽出合理化のための既存のモデルであるパイプラインは、自由テキスト合理化を必要とするタスクに確実に拡張されないことを示す。 我々は、信頼が確立されていない自由文合理化のための、広く使われている高性能モデルのクラスである、共同予測と合理化のモデルに目を向ける。
  論文  参考訳（メタデータ） (2020-10-24T03:40:56Z)
• Why do you think that? Exploring Faithful Sentence-Level Rationales Without Supervision [60.62434362997016]
  文レベルで忠実な論理を出力するモデルを作成するために,異なる訓練枠組みを提案する。 本モデルでは,各理性に基づいて各課題を個別に解決し,その課題を最もよく解決した者に高いスコアを割り当てることを学ぶ。
  論文  参考訳（メタデータ） (2020-10-07T12:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。