論文の概要: Free-text Rationale Generation under Readability Level Control
- arxiv url: http://arxiv.org/abs/2407.01384v1
- Date: Mon, 1 Jul 2024 15:34:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 21:00:48.344352
- Title: Free-text Rationale Generation under Readability Level Control
- Title(参考訳): 可読性レベル制御による自由文ラジエーレ生成
- Authors: Yi-Sheng Hsu, Nils Feldhus, Sherzod Hakimov,
- Abstract要約: 本研究では,可読性レベル制御の影響下で,大規模言語モデル (LLM) が自然言語説明 (NLE) のタスクをどのように実行するかを検討する。
説明書はそのような命令に適応するが、要求された可読性は、しばしば測定されたテキストの複雑さと一致しない。
- 参考スコア(独自算出の注目度): 6.338124510580766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Free-text rationales justify model decisions in natural language and thus become likable and accessible among approaches to explanation across many tasks. However, their effectiveness can be hindered by misinterpretation and hallucination. As a perturbation test, we investigate how large language models (LLMs) perform the task of natural language explanation (NLE) under the effects of readability level control, i.e., being prompted for a rationale targeting a specific expertise level, such as sixth grade or college. We find that explanations are adaptable to such instruction, but the requested readability is often misaligned with the measured text complexity according to traditional readability metrics. Furthermore, the quality assessment shows that LLMs' ratings of rationales across text complexity exhibit a similar pattern of preference as observed in natural language generation (NLG). Finally, our human evaluation suggests a generally satisfactory impression on rationales at all readability levels, with high-school-level readability being most commonly perceived and favored.
- Abstract(参考訳): 自由文理理性は自然言語におけるモデル決定を正当化し、多くのタスクをまたいだ説明のアプローチにおいて、自由でアクセスしやすいものとなる。
しかし、その効果は誤解や幻覚によって妨げられる。
摂動試験として,第6学年や大学など,特定の専門的レベルを対象とする理論的根拠を求めて,可読性レベル制御の影響下で,大規模言語モデル(LLM)が自然言語説明(NLE)のタスクをどのように実行するかを検討する。
説明書はそのような命令に適応するが、要求される可読性は、従来の可読性指標に従って、測定されたテキストの複雑さと不一致であることが多い。
さらに,LLMのテキスト複雑性に対する有理性評価は,自然言語生成(NLG)と類似した嗜好パターンを示す。
最後に、人間の評価から、すべての可読性レベルにおける理性に対する概ね満足な印象が示唆され、高校レベルの可読性が最も認識され、好まれる。
関連論文リスト
- Generating Summaries with Controllable Readability Levels [67.34087272813821]
テキストの複雑さ、主題、読者の背景知識など、可読性レベルに影響を与える要因がいくつかある。
現在のテキスト生成アプローチでは制御が洗練されておらず、結果として読者の習熟度にカスタマイズされないテキストが作られる。
可読性を制御するための3つのテキスト生成手法を開発した。命令ベースの可読性制御,要求される可読性と観測される可読性の間のギャップを最小限に抑える強化学習,および,ルックアヘッドを用いて今後の復号化ステップの可読性を評価する復号手法である。
論文 参考訳(メタデータ) (2023-10-16T17:46:26Z) - LC-Score: Reference-less estimation of Text Comprehension Difficulty [0.0]
我々は、参照なしのフランス語テキストに対して、テキスト理解度を訓練するための簡単なアプローチであるtextscLC-Scoreを提示する。
我々の目的は,テキストがtextitLangage Clair (LC, textitClear Language) ガイドラインに適合する範囲を定量的に把握することである。
i) 統計モデルの学習に使用される言語的動機付け指標を使用すること,(ii) 事前学習された言語モデルを利用したテキストから直接ニューラルラーニングを行うこと,の2つのアプローチを探索する。
論文 参考訳(メタデータ) (2023-10-04T11:49:37Z) - Situated Natural Language Explanations [54.083715161895036]
自然言語の説明(NLE)は、人間に意思決定を説明する最もアクセスしやすいツールである。
既存のNLE研究の視点は、観客を考慮に入れない。
Situated NLEは視点を提供し、説明の生成と評価に関するさらなる研究を促進する。
論文 参考訳(メタデータ) (2023-08-27T14:14:28Z) - Large Language Models Are Not Strong Abstract Reasoners [12.354660792999269]
大規模言語モデルは、さまざまな自然言語処理タスクにおいて、非常に大きなパフォーマンスを示しています。
LLMが人間のような認知能力を達成できるのか、あるいはこれらのモデルがいまだに根本から取り囲まれているのかは不明だ。
我々は,抽象的推論タスクの記憶以上の言語モデルを評価するための新しいベンチマークを導入する。
論文 参考訳(メタデータ) (2023-05-31T04:50:29Z) - Natural Language Decompositions of Implicit Content Enable Better Text
Representations [56.85319224208865]
本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。
我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。
本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
論文 参考訳(メタデータ) (2023-05-23T23:45:20Z) - ChatABL: Abductive Learning via Natural Language Interaction with
ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。
LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。
本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:23:47Z) - Lexically-constrained Text Generation through Commonsense Knowledge
Extraction and Injection [62.071938098215085]
我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。
生成したテキストの意味的正しさを高めるための戦略を提案する。
論文 参考訳(メタデータ) (2020-12-19T23:23:40Z) - Curious Case of Language Generation Evaluation Metrics: A Cautionary
Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。
これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。
本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文 参考訳(メタデータ) (2020-10-26T13:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。