論文の概要: How Ambiguous Are the Rationales for Natural Language Reasoning? A Simple Approach to Handling Rationale Uncertainty

• arxiv url: http://arxiv.org/abs/2402.14337v3
• Date: Tue, 04 Mar 2025 11:22:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:11:32.048907
• Title: How Ambiguous Are the Rationales for Natural Language Reasoning? A Simple Approach to Handling Rationale Uncertainty
• Title（参考訳）: 自然言語推論の合理化はどの程度曖昧か? : Rationale不確実性を扱うための簡単なアプローチ
• Authors: Hazel H. Kim,
• Abstract要約: 本研究では,自然言語推論のモデル性能におけるあいまいな有理性の役割について検討する。 そこで本研究では,理論のあいまいさに応じて2つの異なる推論経路を選択するための簡単な方法を提案する。
• 参考スコア（独自算出の注目度）: 0.9790236766474201
• License:
• Abstract: The quality of rationales is essential in the reasoning capabilities of language models. Rationales not only enhance reasoning performance in complex natural language tasks but also justify model decisions. However, obtaining impeccable rationales is often impossible. Our study aims to investigate how ambiguous rationales play in model performances of natural language reasoning. We first assess the ambiguity of rationales through the lens of entropy and uncertainty in model prior beliefs, exploring its impact on task performance. We then propose a simple way to guide models to choose between two different reasoning paths depending on the ambiguity of the rationales. Our empirical results demonstrate that this approach leads to robust performance, particularly in adversarial scenarios where rationale quality is inconsistent.
• Abstract（参考訳）: 論理の質は言語モデルの推論能力に不可欠である。 合理性は複雑な自然言語タスクにおける推論性能を高めるだけでなく、モデル決定を正当化する。 しかし、不可能な理性を得ることはしばしば不可能である。 本研究は,自然言語推論のモデル性能におけるあいまいな有理性がどのように機能するかを検討することを目的とする。 まずエントロピーのレンズとモデルの事前信念の不確実性を通して有理性のあいまいさを評価し,そのタスク性能への影響を探求する。 次に,理論のあいまいさに応じて2つの異なる推論経路を選択するための簡単な方法を提案する。 我々の実証的な結果は、特に合理的品質が矛盾する敵のシナリオにおいて、このアプローチが堅牢なパフォーマンスをもたらすことを示している。

関連論文リスト

• Boosting the Power of Small Multimodal Reasoning Models to Match Larger Models with Self-Consistency Training [49.3242278912771]
  マルチモーダル推論(multimodal reasoning)は、複数のモーダルをまたいだモデルによる質問に答える難しいタスクである。 既存のアプローチでは、言語と視覚のモダリティを2段階の推論フレームワークに組み込むことで進歩している。 MC-CoTは,複数の合理性と回答を生成し,投票プロセスを通じて最も正確な選択を行う自己整合性学習戦略である。
  論文  参考訳（メタデータ） (2023-11-23T17:09:48Z)
• Characterizing Large Language Models as Rationalizers of Knowledge-intensive Tasks [6.51301154858045]
  大規模言語モデル(LLM)は、タスク固有の最小限の監督力を持つ流動的なテキストを生成するのに熟練している。 専門家による事例を数ショットで表現することで,自然言語における知識誘導的合理化の課題を考察する。 驚いたことに、群衆労働者はクラウドソースの合理化よりも知識に基づく合理化を好んだ。
  論文  参考訳（メタデータ） (2023-11-09T01:04:44Z)
• MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
  複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。 推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。 この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
  論文  参考訳（メタデータ） (2022-10-22T16:01:13Z)
• Rationale-Augmented Ensembles in Language Models [53.45015291520658]
  我々は、数発のテキスト内学習のための合理化促進策を再考する。 我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。 有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-02T06:20:57Z)
• Can Rationalization Improve Robustness? [39.741059642044874]
  ニューラルNLPモデルが、その解釈可能な性質に加えて、敵攻撃に対して堅牢性をもたらすかどうかを検討する。 トークンと文レベルの合理化タスクの両方に対して,さまざまなタイプのAddText攻撃を生成する。 実験の結果、合理的モデルでは、特定のシナリオで苦労しながら、堅牢性を改善するという約束が示されることがわかった。
  論文  参考訳（メタデータ） (2022-04-25T17:02:42Z)
• The Irrationality of Neural Rationale Models [6.159428088113691]
  反対に、哲学的視点と経験的証拠の両方で、有理モデルが、おそらく予想よりも合理的で解釈可能でないことを示唆している。 我々はこれらのモデルのより厳密で包括的な評価を求め、解釈可能性の望ましい特性が実際に達成されることを確実にする。
  論文  参考訳（メタデータ） (2021-10-14T17:22:10Z)
• Rationales for Sequential Predictions [117.93025782838123]
  シーケンスモデルは現代のNLPシステムにおいて重要な要素であるが、それらの予測は説明が難しい。 モデル説明は有理だが、個々のモデル予測を説明できる文脈のサブセットを考える。 この目的を近似する効率的なグリードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-14T01:25:15Z)
• Measuring Association Between Labels and Free-Text Rationales [60.58672852655487]
  解釈可能なNLPでは、説明された例に対するモデルの意思決定プロセスを反映した忠実な理性が必要です。 情報抽出型タスクに対する忠実な抽出合理化のための既存のモデルであるパイプラインは、自由テキスト合理化を必要とするタスクに確実に拡張されないことを示す。 我々は、信頼が確立されていない自由文合理化のための、広く使われている高性能モデルのクラスである、共同予測と合理化のモデルに目を向ける。
  論文  参考訳（メタデータ） (2020-10-24T03:40:56Z)
• Why do you think that? Exploring Faithful Sentence-Level Rationales Without Supervision [60.62434362997016]
  文レベルで忠実な論理を出力するモデルを作成するために,異なる訓練枠組みを提案する。 本モデルでは,各理性に基づいて各課題を個別に解決し,その課題を最もよく解決した者に高いスコアを割り当てることを学ぶ。
  論文  参考訳（メタデータ） (2020-10-07T12:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。