論文の概要: Implementation and Application of an Intelligibility Protocol for Interaction with an LLM
- arxiv url: http://arxiv.org/abs/2410.20600v1
- Date: Sun, 27 Oct 2024 21:20:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:15:29.548229
- Title: Implementation and Application of an Intelligibility Protocol for Interaction with an LLM
- Title（参考訳）: LLMとのインタラクションのための知的プロトコルの実装と応用
- Authors: Ashwin Srinivasan, Karan Bania, Shreyas V, Harshvardhan Mestha, Sidong Liu,
- Abstract要約: 我々の関心は、機械学習エンジンと対話する人間-専門家を含む対話型システムの構築である。
これは、科学、環境、医学などにおける複雑な問題に対処する場合に関係している。
本稿では,汎用実装のアルゴリズム記述と,その利用に関する予備実験を2つの異なる領域で実施する。
- 参考スコア（独自算出の注目度）: 0.9187505256430948
- License:
- Abstract: Our interest is in constructing interactive systems involving a human-expert interacting with a machine learning engine on data analysis tasks. This is of relevance when addressing complex problems arising in areas of science, the environment, medicine and so on, which are not immediately amenable to the usual methods of statistical or mathematical modelling. In such situations, it is possible that harnessing human expertise and creativity to modern machine-learning capabilities of identifying patterns by constructing new internal representations of the data may provide some insight to possible solutions. In this paper, we examine the implementation of an abstract protocol developed for interaction between agents, each capable of constructing predictions and explanations. The \PXP protocol, described in [12] is motivated by the notion of ''two-way intelligibility'' and is specified using a pair of communicating finite-state machines. While the formalisation allows the authors to prove several properties about the protocol, no implementation was presented. Here, we address this shortcoming for the case in which one of the agents acts as a ''generator'' using a large language model (LLM) and the other is an agent that acts as a ''tester'' using either a human-expert, or a proxy for a human-expert (for example, a database compiled using human-expertise). We believe these use-cases will be a widely applicable form of interaction for problems of the kind mentioned above. We present an algorithmic description of general-purpose implementation, and conduct preliminary experiments on its use in two different areas (radiology and drug-discovery). The experimental results provide early evidence in support of the protocol's capability of capturing one- and two-way intelligibility in human-LLM in the manner proposed in [12].
- Abstract（参考訳）: 我々の関心は、データ分析タスクで機械学習エンジンと対話する人間専門家を含む対話型システムの構築である。
これは、科学、環境、医学などの分野で生じる複雑な問題に対処する場合に関係しており、これは統計学や数学的モデリングの通常の手法にはすぐには適用できない。
このような状況下では、人間の専門知識と創造性を、新しい内部表現を構築してパターンを識別する現代の機械学習能力に活用することは、可能な解決策にいくつかの洞察を与える可能性がある。
本稿では,エージェント間のインタラクションのための抽象プロトコルの実装について検討する。
12]に記載された \PXP プロトコルは '双方向の知性' という概念によって動機付けられ、通信有限状態マシンのペアを用いて指定される。
この形式化により、著者はプロトコルに関するいくつかの特性を証明できるが、実装は提示されなかった。
ここでは、エージェントの1つが大きな言語モデル(LLM)を用いて「ジェネレータ」として機能し、もう1つは、人間専門家または人間専門家のプロキシ(例えば、人間専門家を用いてコンパイルされたデータベース)を用いて「テスター」として機能するエージェントである場合の、この欠点に対処する。
これらのユースケースは、上記の種類の問題に対して、広く適用可能なインタラクション形式になるだろうと考えています。
本稿では,汎用実装のアルゴリズム記述を行い,その利用に関する予備実験を2つの分野(放射線学と薬物発見)で実施する。
実験結果は, [12] で提案された方式で, LLM における一方向および二方向のインテリジェンスを捕捉するプロトコルの能力について, 早期に裏付けるものである。
関連論文リスト
- A Multimodal Automated Interpretability Agent [63.8551718480664]
MAIAは、ニューラルモデルを使用して、ニューラルモデル理解タスクを自動化するシステムである。
まず、画像の学習表現における(ニューロンレベルの)特徴を記述できるMAIAの能力を特徴付ける。
次に、MAIAは、刺激的な特徴に対する感度の低下と、誤分類される可能性のある入力を自動的に識別する2つの追加の解釈可能性タスクに役立てることができることを示す。
論文 参考訳（メタデータ） (2024-04-22T17:55:11Z) - Understanding Your Agent: Leveraging Large Language Models for Behavior
Explanation [7.647395374489533]
本研究では,状態や行動の観察のみに基づいて,エージェントの行動に関する自然言語説明を生成する手法を提案する。
提案手法は,人間ドメインの専門家が作成したものと同じくらい役立つ説明を生成する。
論文 参考訳（メタデータ） (2023-11-29T20:16:23Z) - Explaining Agent Behavior with Large Language Models [7.128139268426959]
本研究では,状態や行動の観察のみに基づいて,エージェントの行動に関する自然言語説明を生成する手法を提案する。
エージェントの振る舞いのコンパクトな表現がいかに学習され、妥当な説明を生み出すかを示す。
論文 参考訳（メタデータ） (2023-09-19T06:13:24Z) - FIND: A Function Description Benchmark for Evaluating Interpretability
Methods [86.80718559904854]
本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。
FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。
本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
論文 参考訳（メタデータ） (2023-09-07T17:47:26Z) - A Model for Intelligible Interaction Between Agents That Predict and Explain [1.335664823620186]
エージェントを特殊特性を持つオートマチックにすることで相互作用モデルを定式化する。
プロトコルの実行によって実行時に現れるプロパティとして,ワンウェイとツーウェイのインテリジェンスを定義する。
a)インダクティブ論理プログラミング(ILP)で行われているように、論理に基づく説明を提供するMLシステムと対話する人間に関する文献報告における1-および2-Way知能の事例を特定し、(b)1-または2-Way知能に精巧な自然言語に基づく対話モデルで人間と機械間の相互作用をマッピングする。
論文 参考訳（メタデータ） (2023-01-04T20:48:22Z) - DIME: Fine-grained Interpretations of Multimodal Models via Disentangled
Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。
提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文 参考訳（メタデータ） (2022-03-03T20:52:47Z) - Multi-Agent Imitation Learning with Copulas [102.27052968901894]
マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。
本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。
提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
論文 参考訳（メタデータ） (2021-07-10T03:49:41Z) - Challenging common interpretability assumptions in feature attribution
explanations [0.0]
大規模な人・物体実験により,3つの共通解釈可能性仮定の妥当性を実証的に評価した。
特徴帰属の説明は、人間の意思決定者にとって、我々のタスクに限界効用をもたらす。
論文 参考訳（メタデータ） (2020-12-04T17:57:26Z) - Investigating Human Response, Behaviour, and Preference in Joint-Task
Interaction [3.774610219328564]
我々は、説明可能な計画(XAIP)エージェントと相互作用する人間の行動と反応を調べる実験を設計した。
また,シミュレーションユーザに対する2つのエージェントの挙動を実証分析により検討した。
論文 参考訳（メタデータ） (2020-11-27T22:16:59Z) - DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
人-物間相互作用(HOI)検出の課題に対処する。
既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。
本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
論文 参考訳（メタデータ） (2020-08-26T17:59:40Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。