|
품사 대응에서 발생하는 오류는 품사 태깅 모듈의 성능에 큰 영향을 준다. 품사 대응에서 발생하는 오류는 그 이유를 크게 두 가지로 나누어 볼 수 있다. 첫째, 품사 결정 모델의 전단계인 형태소 분석 단계에서의 오류로 인해, 품사 대응에 사용하는 특성정보가 부족하여 잘못된 펜트리뱅크의 품사로 대응되는 경우이다. 예를 들어, 그림 1에서 ‘work’의 시제 정보 중 현재 시제 정보가 없다면 기계 번역의 품사 v는 VB(동사원형)로만 대응된다. 둘째, 특정 단어들의 경우 형태소 분석 단계에서 분석된 품사의 종류가 펜트리뱅크에서 관찰된 품사의 종류보다 많아서 발생하는 경우다. 이 경우에, 품사 대응은 올바르게 되지만 문맥상 올바른 품사에 대한 펜트리뱅크 코퍼스에서 관찰된 확률 정보가 없게 된다. 그래서 품사 태깅에서 올바른 품사가 탈락하게 된다. 이러한 오류도 다시 두 가지 경우로 나눌 수 있다. 한 가지는 단어의 서로 다른 쓰임에 대해 동일하게 태깅된 경우이고 또다른 한 가지는 데이터 부족 문제로 발생하는 경우이다. 전자의 경우는 그림 1의 ‘all’과 같이 펜트리뱅크에서 DT, PDT, RB로만 태깅된 경우를 들 수 있다. 이 경우에 ‘all’에 대한 기계번역의 품사, adj와 pron을 각각 대응한 JJ와 PRP는 무조건 최소 확률을 가지게 된다. 만약 adj나 pron이 ‘all’의 올바른 태그인 문장에서는 항상 이러한 태그를 잘라내어 다음 단계인 구문분석에서 잘못된 분석을 하게된다. 이와 동일한 문제점을 갖는 예는 다음 펜트리뱅크 태그로 태깅한 문장을 살펴보면 알 수 있다. 괄호 안은 밑줄 친 단어의 기계번역의 태그를 뜻한다.
|
1. 임철수, 이현아, 최명석, 장병규, 이공주, 김길창, “어휘화된 규칙에 기반한 영한 기계번역 시스템,” 한국정보과학회 학술발표논문집 제24권 2호, 1997.
2. G. F. Foster. 1991. Statistical Lexical Disambiguation. Master`s thesis, McGill Univ. School of Computer Science, Montreal, Canada.
3. J. Allen. 1995. Natural Language Understanding. The Benjamin / Cummings Publishing Company, Inc.
4. J. Kupiec. 1992. Robust part-of-speech tagging using a hidden Markov model. Computer Speech and Language, 6:225-242.
5. M. Mitchell, S. Beatrice, M. Maryann, 1993. Building a Large Annotated Corpus of English : the Penn Treebank. Computational Linguistics.
6. B. Santorini, 1991. Part of Speech Tagging Guidelines for the Penn Treebank Project.
|
ٷΰ
영한 기계 번역 품사 집합과 펜트리뱅크 코퍼스 품사 집합간의 품사 대응.hwp
[Size :
38 Kbyte
]
ٱ
