視覚と言語に基づく共通知識の獲得に関する研究

Research on Common knowledge acquisition based on vision and language

Author:

Kei Matsubayashi (松林 慶)

Abstract:

In a real world, man's knowledge is not in common. Similarly, knowledge is not in common even on computer. Knowledge is not completely shared between agents on computer when the world in which they live is large, as well as between computer and person who uses it. But man can acquire common knowledge through multiple source of information. This method makes realize common knowledge on computer.

Therefore, the purpose of this paper is to acquire common knowledge between speaker and hearer making use of both visual information and linguistical information as the example of some informations. Common knowledge which this paper treats is the correspondence between the word speaker used in order to represent the same object shared in their scene and the one hearer did. Hearer can acquire it comparing her/his own visual information with sentence received. But the viewpoint from which they view their scene is not always the same. It is necessary to incorporate the viewpoint into the acquisition.

In this paper, we use situation semantics and propose the common knowledge acquisition by adding the comparison with visual information to formal treatment in the semantics of perspectival expression -- the expression made from a point of view. Also, we implement the experimental system simplifying that treatment. Then, we show it possible to acquire the common knowledge with speaker's viewpoint.

Abstract in Japanese:

現実世界において人間の知識は共通していない。 同様に計算機上でも知識が共通しているとは限らない。 計算機を扱う人間と計算機間では勿論のこと、計算機上におけるエージェント間 でもエージェントの世界が大きい場合には知識が完全には共有されていない。 しかし人間は複数の情報源を用いて共通の知識を獲得することが出来る。 この考えを用いて計算機上で共通知識を実現することが出来る。

そこで本論文ではいくつかある情報の中でも例として視覚情報と言語情報を用いて 話し手と聞き手の間で共通知識を獲得することを目的とする。 共通知識としてここで扱うのは、情景に存在する同一の対象を表現するために相手が 用いた単語と自分が用いた単語との対応である。 文を受け取り自分の視覚情報と比べることによって対応関係を獲得できる。 しかし、両者とも情景を捉える視点が同じであるとは限らない。 共通知識の獲得において視点も取り入れる必要がある。

意味論としては状況意味論を用いる。 その意味論における視点を含む表現、即ち視点表現の形式的取扱いに 視覚情報との比較を加えることにより共通知識の獲得を説明する。 またこの説明を簡単化させて実験的システムを構築する。 そして話し手の視点を考慮した共通知識獲得が可能なことを示す。


How to get this paper?

To obtain this paper, please contact Kei Matsubayashi(kei@mt.cs.keio.ac.jp). Thank you very much for your attention.