論文の概要: Modulating Language Model Experiences through Frictions

• arxiv url: http://arxiv.org/abs/2407.12804v2
• Date: Mon, 18 Nov 2024 15:41:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:30:10.017849
• Title: Modulating Language Model Experiences through Frictions
• Title（参考訳）: 摩擦による言語モデル体験の制御
• Authors: Katherine M. Collins, Valerie Chen, Ilia Sucholutsky, Hannah Rose Kirk, Malak Sadek, Holli Sargeant, Ameet Talwalkar, Adrian Weller, Umang Bhatt,
• Abstract要約: 言語モデルの過度な消費は、短期において未確認エラーを伝播し、長期的な批判的思考のために人間の能力を損なうリスクを出力する。 行動科学の介入にインスパイアされた言語モデル体験のための選択的摩擦を提案し,誤用を抑える。
• 参考スコア（独自算出の注目度）: 56.17593192325438
• License:
• Abstract: Language models are transforming the ways that their users engage with the world. Despite impressive capabilities, over-consumption of language model outputs risks propagating unchecked errors in the short-term and damaging human capabilities for critical thinking in the long-term. How can we develop scaffolding around language models to curate more appropriate use? We propose selective frictions for language model experiences, inspired by behavioral science interventions, to dampen misuse. Frictions involve small modifications to a user's experience, e.g., the addition of a button impeding model access and reminding a user of their expertise relative to the model. Through a user study with real humans, we observe shifts in user behavior from the imposition of a friction over LLMs in the context of a multi-topic question-answering task as a representative task that people may use LLMs for, e.g., in education and information retrieval. We find that frictions modulate over-reliance by driving down users' click rates while minimally affecting accuracy for those topics. Yet, frictions may have unintended effects. We find marked differences in users' click behaviors even on topics where frictions were not provisioned. Our contributions motivate further study of human-AI behavioral interaction to inform more effective and appropriate LLM use.
• Abstract（参考訳）: 言語モデルは、ユーザーが世界と関わる方法を変えつつある。 印象的な能力にもかかわらず、言語モデルの過剰消費は、短期的には未確認エラーを伝播し、長期的には批判的思考のために人間の能力を損なうリスクを発生させる。 より適切な使用をキュレートするために、言語モデルを取り巻く足場をどのように開発すればよいか? 行動科学の介入にインスパイアされた言語モデル体験のための選択的摩擦を提案し,誤用を抑える。 摩擦は、例えば、モデルアクセスを妨げるボタンの追加や、モデルに関する専門知識をユーザに思い出させるなど、ユーザの経験に小さな変更を加えることを含む。 実際の人間とのユーザスタディを通じて、学習や情報検索において、LLMを代表的タスクとして、多目的質問応答タスクの文脈において、LLMに対する摩擦の付与からユーザ行動の変化を観察する。 ユーザのクリック率を低下させながら,それらのトピックの精度を最小限に抑えることで,摩擦が過度な信頼性を変調することがわかった。 しかし、摩擦は意図しない効果をもたらす可能性がある。 ユーザのクリック動作には,摩擦が設定されていないトピックにおいても,顕著な違いがみられた。 我々の貢献は、より効果的で適切なLCMの使用を知らせるために、人間とAIの行動相互作用のさらなる研究を動機付けている。

関連論文リスト

• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Do Influence Functions Work on Large Language Models? [10.463762448166714]
  影響関数は、個々のトレーニングデータポイントがモデルの予測に与える影響を定量化することを目的としている。 我々は,複数のタスクにまたがる影響関数を評価し,ほとんどの設定において不整合なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-09-30T06:50:18Z)
• Do Language Models Enjoy Their Own Stories? Prompting Large Language Models for Automatic Story Evaluation [15.718288693929019]
  大規模言語モデル(LLM)は多くのNLPタスクで最先端のパフォーマンスを達成する。 LLMがヒトアノテーターの代用として使用できるかどうかを検討した。 LLMはシステムレベルの評価において,現在の自動測定値よりも優れていますが,十分な説明が得られていないことが分かりました。
  論文  参考訳（メタデータ） (2024-05-22T15:56:52Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Violation of Expectation via Metacognitive Prompting Reduces Theory of Mind Prediction Error in Large Language Models [0.0]
  大規模言語モデル(LLM)は、心の理論(ToM)タスクにおいて、魅力的な習熟度を示す。 この、観察不能な精神状態を他人に伝える能力は、人間の社会的認知に不可欠であり、人間と人工知能(AI)の主観的関係において同様に重要であることが証明される。
  論文  参考訳（メタデータ） (2023-10-10T20:05:13Z)
• In-context Interference in Chat-based Large Language Models [8.197259049834038]
  大きな言語モデル(LLM)は、その印象的な能力と世界の膨大な知識により、社会に大きな影響を与えた。 ブラックボックスのシナリオでこれらのモデルと対話できるさまざまなアプリケーションやツールが作成されている。 本稿では,このモデルがコンテキスト内を連続的に流れる情報間の干渉にどのように悩まされるかを示し,学習済みの知識を忘れる原因となる。
  論文  参考訳（メタデータ） (2023-09-22T09:18:55Z)
• Evaluating Language Models for Mathematics through Interactions [116.67206980096513]
  大型言語モデル(LLM)と対話し,評価するためのプロトタイププラットフォームであるCheckMateを紹介した。 我々はCheckMateと共同で3つの言語モデル(InstructGPT, ChatGPT, GPT-4)を、学部レベルの数学の証明支援として評価する研究を行った。 我々は、人間の行動の分類を導き、概して肯定的な相関にもかかわらず、正しさと知覚的有用性の間に顕著な相違点があることを明らかにする。
  論文  参考訳（メタデータ） (2023-06-02T17:12:25Z)
• Shortcut Learning of Large Language Models in Natural Language Understanding [119.45683008451698]
  大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。 予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。 これは、その一般化性と敵対的堅牢性に大きな影響を与えている。
  論文  参考訳（メタデータ） (2022-08-25T03:51:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。