論文の概要: Epistemic Alignment: A Mediating Framework for User-LLM Knowledge Delivery
- arxiv url: http://arxiv.org/abs/2504.01205v1
- Date: Tue, 01 Apr 2025 21:38:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 13:24:15.762216
- Title: Epistemic Alignment: A Mediating Framework for User-LLM Knowledge Delivery
- Title(参考訳): Epistemic Alignment: ユーザLLM知識配信のための仲介フレームワーク
- Authors: Nicholas Clark, Hua Shen, Bill Howe, Tanushree Mitra,
- Abstract要約: 本稿では,哲学文献から得られた知識の伝達に関する10の課題を提案する。
ユーザはそれぞれの課題に対処するための回避策を開発しています。
AI開発者にとって、Epistemic Alignment Frameworkは、知識に対する多様なアプローチをサポートするための具体的なガイダンスを提供する。
- 参考スコア(独自算出の注目度): 17.23286832909591
- License:
- Abstract: LLMs increasingly serve as tools for knowledge acquisition, yet users cannot effectively specify how they want information presented. When users request that LLMs "cite reputable sources," "express appropriate uncertainty," or "include multiple perspectives," they discover that current interfaces provide no structured way to articulate these preferences. The result is prompt sharing folklore: community-specific copied prompts passed through trust relationships rather than based on measured efficacy. We propose the Epistemic Alignment Framework, a set of ten challenges in knowledge transmission derived from the philosophical literature of epistemology, concerning issues such as evidence quality assessment and calibration of testimonial reliance. The framework serves as a structured intermediary between user needs and system capabilities, creating a common vocabulary to bridge the gap between what users want and what systems deliver. Through a thematic analysis of custom prompts and personalization strategies shared on online communities where these issues are actively discussed, we find users develop elaborate workarounds to address each of the challenges. We then apply our framework to two prominent model providers, OpenAI and Anthropic, through content analysis of their documented policies and product features. Our analysis shows that while these providers have partially addressed the challenges we identified, they fail to establish adequate mechanisms for specifying epistemic preferences, lack transparency about how preferences are implemented, and offer no verification tools to confirm whether preferences were followed. For AI developers, the Epistemic Alignment Framework offers concrete guidance for supporting diverse approaches to knowledge; for users, it works toward information delivery that aligns with their specific needs rather than defaulting to one-size-fits-all approaches.
- Abstract(参考訳): LLMは知識獲得のためのツールとして機能する傾向にあるが、ユーザがどのように情報を提示するかを効果的に特定することはできない。
ユーザは、LCMに「信頼できるソース」や「適切な不確実性」、あるいは「複数の視点を含む」と要求すると、現在のインターフェースがこれらの嗜好を明確にするための構造化された方法を提供していないことが分かる。
その結果、コミュニティ固有のコピーされたプロンプトは、測定された有効性に基づいてではなく、信頼関係を通過した。
本稿では,実証的品質評価や証言的信頼の校正といった問題に関して,認識論の哲学文献から導かれる知識伝達における10の課題の集合である,認識アライメント・フレームワークを提案する。
このフレームワークは、ユーザニーズとシステム機能の間の構造化された仲介役として機能し、ユーザの望むものとシステムが提供するものの間のギャップを埋めるために共通の語彙を作成する。
これらの課題を積極的に議論するオンラインコミュニティで共有されているカスタムプロンプトやパーソナライズ戦略のテーマ分析を通じて,各課題に対処するための詳細な回避策をユーザが開発することを見出した。
次に、私たちのフレームワークを、ドキュメント化されたポリシーと製品機能のコンテンツ分析を通じて、OpenAIとAnthhropicの2つの著名なモデルプロバイダに適用します。
分析の結果、これらのプロバイダは、私たちが特定した課題に部分的に対処しているが、疫学的嗜好を特定するための適切なメカニズムを確立することができず、嗜好がどのように実装されているかの透明性を欠き、嗜好が守られているかどうかを確認するための検証ツールを提供していないことがわかった。
AI開発者にとっては、Epistemic Alignment Frameworkは、知識に対する多様なアプローチをサポートするための具体的なガイダンスを提供する。
関連論文リスト
- From Bugs to Benefits: Improving User Stories by Leveraging Crowd Knowledge with CrUISE-AC [0.0]
我々は,CrUISE-ACを,問題を調査し,与えられたユーザストーリーに対する非自明な追加受け入れ基準を生成する完全自動化手法として提示する。
評価の結果,生成した受け入れ基準の80~82%がユーザストーリーに関連性のある要件を付加していることがわかった。
論文 参考訳(メタデータ) (2025-01-25T11:44:24Z) - Unveiling User Preferences: A Knowledge Graph and LLM-Driven Approach for Conversational Recommendation [55.5687800992432]
本稿では,Large Language Models (LLMs) とKGs (KGs) を相乗化するプラグイン・アンド・プレイフレームワークを提案する。
これにより、LLMはKGエンティティを簡潔な自然言語記述に変換することができ、ドメイン固有の知識を理解できるようになる。
論文 参考訳(メタデータ) (2024-11-16T11:47:21Z) - Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation [19.543102037001134]
言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。
外部知識コーパスから検証可能な情報を検索する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。
RAG生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存する。
論文 参考訳(メタデータ) (2024-10-10T19:14:55Z) - Do LLMs suffer from Multi-Party Hangover? A Diagnostic Approach to Addressee Recognition and Response Selection in Conversations [11.566214724241798]
本研究では,会話の特定の構造的属性間でのモデル性能を調査する手法を提案する。
我々はモデルの弱点を診断するために、応答選択とアドレス認識タスクに焦点をあてる。
その結果、応答選択は会話のテキストの内容に依存しており、アドレス認識ではその構造的次元を捉える必要があることがわかった。
論文 参考訳(メタデータ) (2024-09-27T10:07:33Z) - Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。
Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
論文 参考訳(メタデータ) (2024-09-05T09:10:38Z) - Trust-Oriented Adaptive Guardrails for Large Language Models [9.719986610417441]
ガードレールは、有害または有害な応答を抑えることで、大きな言語モデル(LLM)が人間の価値と整合することを保証するように設計されている。
既存のガードレールには、さまざまなユーザグループのニーズを満たすための、十分に確立された方法論が欠如している。
ユーザ信頼度に基づいて,機密コンテンツへの動的アクセスを適度に行うための適応ガードレール機構を導入する。
論文 参考訳(メタデータ) (2024-08-16T18:07:48Z) - Establishing Knowledge Preference in Language Models [80.70632813935644]
言語モデルは事前学習を通じて大量の事実知識を符号化することが知られている。
このような知識はユーザーからの要求に応えるには不十分かもしれない。
進行中のイベントに関する質問に答える場合には、最新のニュース記事を使って回答を更新する必要がある。
ある事実がモデルで編集されると、更新された事実はモデルによって学習されたすべての事前知識をオーバーライドする。
論文 参考訳(メタデータ) (2024-07-17T23:16:11Z) - Beyond One-Size-Fits-All: Adapting Counterfactual Explanations to User Objectives [2.3369294168789203]
Counterfactual Explanations (CFE)は、機械学習アルゴリズムの意思決定プロセスに関する洞察を提供する。
既存の文献は、様々なアプリケーションやドメインにわたるユーザのニーズや目的を見落としていることが多い。
我々は,ユーザの目的や対象アプリケーションに基づいて,所望の特性の変化を認識することによって,CFEの微妙な理解を提唱する。
論文 参考訳(メタデータ) (2024-04-12T13:11:55Z) - RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。
本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
論文 参考訳(メタデータ) (2023-11-28T14:55:52Z) - Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。
COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2023-10-22T19:37:06Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳(メタデータ) (2021-01-24T05:40:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。