초분광 영상을 활용한 석조문화재 표면오염물 분류 및 정확도 평가 - 경주 굴불사지 석조사면불상을 중심으로 -

Accuracy Assessment and Classification of Surface Contaminants of Stone Cultural Heritages Using Hyperspectral Image - Focusing on Stone Buddhas in Four Directions at Gulbulsa Temple Site, Gyeongju -

Article information

J. Conserv. Sci. 2020;36(2):73-81
Publication date (electronic) : 2020 April 30
doi : https://doi.org/10.12654/JCS.2020.36.2.01
Conservation Science Division, National Research Institute of Cultural Heritage, Daejeon 34122, Korea
안유빈, 유지현, 최명주, 이명성,
국립문화재연구소 보존과학연구실
*Corresponding author E-mail: mslee75@korea.kr Phone: +82-42-860-9485
Received 2019 November 21; Revised 2020 January 20; Accepted 2020 March 9.

Abstract

초분광 이미지 분석은 석조문화재 손상지도 제작 시 화학적⋅생물학적 오염의 정량적인 면적 산출이 어려운 단점을 보완하기 위해 제안되었다. 이 연구에서는 다양한 표면오염물이 나타나는 경주굴불사지 석조사면불상을 대상으로 초분광 이미지 분석을 수행하였다. 이때 화학적⋅생물학적 오염은 색상과 형태에 따라 10가지 범주로 구분하였고 범주의 참조 이미지 제작법을 제시하였다. 또한 오염물을 분류하기 위해 SAM 알고리듬을 사용하고 관심영역을 사용한 분류방법(Method A)과 영상에서 추출한 분광정보를 라이브러리로 구축하여 분류하는 방법(Method B)을 적용하였다. 분류된 이미지를 참조 이미지와 비교한 결과, 정확도는 분류 방법에 따라 52.07%와 63.61%, Kappa 지수는 0.43과 0.55로 산출되었고, 분류시 오분류 화소는 동일한 계열의 오염에 분포하는 경향을 보인다.

Trans Abstract

Considering the difficulties associated with the creation of deterioration maps for stone cultural heritages, quantitative determination of chemical and biological contaminants in them is still challenging. Hyperspectral image analysis has been proposed to overcome this drawback. In this study, hyperspectral imaging was performed on Stone Buddhas Temple in Four Directions at Gulbulsa Temple Site(Treasure 121), and several surface contaminants were observed. Based on the color and shape, these chemical and biological contaminants were classified into ten categories. Additionally, a method for establishing each class as a reference image was suggested. Simultaneously, with the help of Spectral Angle Mapper algorithm, two classification methods were used to classify the surface contaminants. Method A focused on the region of interest, while method B involved the application of the spectral library prepared from the image. Comparison of the classified images with the reference image revealed that the accuracies and kappa coefficients of methods A and B were 52.07% and 63.61%, and 0.43 and 0.55, respectively. Additionally, misclassified pixels were distributed in the same contamination series.

1. 서 론

석조문화재를 구성하는 암석은 물리적인 풍화와 생물⋅화학적 오염물에 의해 훼손된다. 표면오염물은 발생 지점의 암석을 풍화시키고 향후 구조적인 문제나 심각한 손상을 야기할 수 있다. 이때 문화재 보존의 방향성을 결정하기 위해 손상도 평가와 모니터링을 수행하여 훼손양상을 파악하고 적합한 보존방안을 수립하게 된다.

훼손양상을 파악하기 위한 대표적인 방법으로 손상지도를 통한 평가법이 있다. 석조문화재의 경우 손상지도를 활용하여 정량적인 평가를 시도하는 연구가 지속적으로 진행되었다(Yang et al., 2004; Jo and Lee, 2011; Lee et al., 2012; Park et al., 2017). 이와 같은 방법들은 석조문화재의 풍화양상을 가시적으로 기록하고 정량적으로 측정할 수 있는 장점이 있다. 그러나 생물과 변색, 암석부가 혼재되어 있을 경우 분류 및 영역 파악이 어렵다.

이러한 부분을 보완하기 위하여 Chun et al.(2015)은 초분광 이미징 카메라를 문화재 분야에 도입하고 손상도 진단에 활용하였다. 초분광 센서는 특정 파장대의 빛을 수백개로 나누어 각각의 픽셀에 대한 분광정보를 획득하기때문에 이를 바탕으로 각기 다른 손상요인에서 나타나는 특징을 구별할 수 있다. 또한 초분광 이미지는 파장의 변화에 따른 분광 정보를 각 화소에 부여하여 이미지화 할 수 있는 장점이 있다.

초분광 영상을 이용한 분석은 인공위성을 통한 원격탐사 분야에서 주로 사용되어 온 연구방법이다. 최근에는 무인항공체를 이용하여 보다 효율적인 방법으로 초분광 영상을 획득하고 3차원 데이터를 구성하는 연구가 진행중이며(Aasen et al., 2015; Oliveira et al., 2019), 국내에서는 딥러닝을 기반으로 한 분류기법을 적용하는 연구가 수행되었다(Jo et al., 2019; Lee and Kim 2019). 한편 문화재 분야에서는 석조문화재의 비파괴 진단과 분석에 초분광 이미지가 활용된 사례가 있으나(Raimondi et al., 2009; Sciuto et al., 2019) 국내연구는 저조한 실정이다.

위의 연구 방법을 석조문화재 초분광 영상 분석에 적용하기 위해서는 기초 단계의 연구가 필히 수행되어야 한다. 따라서 이 연구에서는 지상용 초분광 카메라를 통해 석조문화재에 발생하는 표면오염에 대한 분광 특성을 파악하고, 훼손양상 분류를 위해 초분광 특성 정합 알고리듬인 SAM(Spectral Angle Mapping) 기법을 사용하여 평가하는 연구를 수행하였다. 특히 분류 정확도를 검증하기 위한 참조 이미지 구축 방법 및 분류 영상간 비교 방법을 제시하였다.

2. 연구방법

이 연구에서는 보물 제121호 경주 굴불사지 석조사면 불상 서측면의 삼존불 중 본존불에 나타나는 복합적인 손상에 대한 분석을 실시하였다. 초분광 이미지 분석의 특성상 물리적인 손상은 반영하기 어렵다. 따라서 암석, 그림자, 흑색 변색, 황색 변색, 적색 변색, 암자색 조류, 회색 지의류, 녹회색 지의류, 녹색 지의류, 암녹색 지의류 등 생물오염과 화학적 풍화로 발생한 변색을 각각의 범주로 지정하고 분석을 실시하였다. 이 연구에서는 피복오염물의 분광 분석을 통한 분류가 목적이므로, 생물오염은 형태와 색상으로만 구분을 시도하였다. 그 내용은 Table 1과 같다.

Type of surface contamination and class separation of the Stone Buddhas in Four Directions at Gulbulsa Temple Site, Gyeongju.

표면오염물 분석을 위한 초분광 시스템은 Figure 1과 같다. 분석 장비는 회전(Rotating) 방식의 가시광-근적외선(350 nm-1,000 nm) 영역대 초분광 카메라(Hyperspectral Camera)(PS-FW-11-V10E, SPECIM, FIN)와 카메라를 제어하는 컴퓨터로 구성된다. 카메라는 수평으로 180° 회전이 가능하며, 350-1,000 nm의 파장에서 258개 밴드를 획득할 수 있다. 초분광 이미징 시스템을 통해 석불에 대하여 273 × 593(가로 × 세로)픽셀 영상을 취득하였다. 야외에서 취득한 데이터의 보정을 위해 반사판(White Reference)을 함께 촬영하여 이용하였다. 반사판은 반사율이 99%로 고정된 백색판을 사용하였다.

Figure 1.

Schematic diagram of the hyperspectral imaging system.

초분광 영상의 가공 및 분석에는 Harris Geospatial Solutions사(USA)의 ENVI 소프트웨어를 활용하였다. 참조 이미지 구축을 위해 무감독 분류법인 K-mean 기법을 활용하였다. 또한 영상 비교를 위해 관심영역(region of interest; ROI) 선정하고 무감독 분류로 획득한 모든 범주의 분광정보를 라이브러리로 구축하였다. 분류된 이미지는 오차행렬도 및 Kappa 지수를 활용하여 참조 이미지와 비교하였다.

3. 초분광 영상 분류

3.1. 참조 이미지(Reference Image) 구축

기존의 원격탐사를 활용한 토지피복분류는 주로 영상에 대한 사전정보를 지닌 분석자가 분석하고자 하는 범주에 따라 각각의 훈련샘플을 지정하여 수행된다(Park et al., 2016). 원격탐사분야에서 토지피복분류에 활용하는 사전정보는 지적편집도, 수치지형도, 위성영상, 항공영상 등이 있다.

석조문화재의 표면오염물 분류는 토지피복분류와 달리 정량적으로 접근 가능한 사전정보가 제한적이며, 지상용 초분광 카메라는 위치정보가 부여되지 않아 정사보정이 어렵다. 따라서 정확도 평가를 위해 조사대상 문화재의 초분광 영상을 기반으로 한 참조 이미지 구축이 필요하다. 그러나 수백개의 밴드를 가진 초분광 영상의 모든 밴드를 사용하여 영상분류를 수행할 경우 인접한 밴드간의 상관성이 높아 불필요한 처리 시간이 크게 증가하며, 밴드마다 존재하는 잡음(Noise)의 영향으로 정확한 분류를 보장할 수 없다. 또한 밴드 수에 비례하여 처리되는 자료의 양이 축적되기 때문에 저장 용량이 증가하고 과다한 처리 시간이 소요된다(Cho and Lee, 2014).

이 연구에서는 경주 굴불사지 사면석불 서측면의 본존불(이하 석불)의 초분광 영상을 촬영하였고(Figure 2A), 효율적인 분석을 위해 초분광 자료의 차원을 줄이고 영상 내 잡음을 최소화하는 데 유용한 알고리듬인 MNF(Minimum Noise Fraction) 변환기법을 사용했다. MNF 변환은 영상의 고유 차원을 결정하고 잡음을 분리하여 처리시간을 줄이기 위해 사용되는 것으로 두 번의 주성분 분석에 의한 선형 변환이 단계적으로 수행된다(Han et al., 2003). 이와 같은 밴드 추출 단계를 통해 50개의 밴드를 가진 MNF 이미지를 획득하고(Figure 2B), 그 중 상위 20개의 밴드를 사용하여 무감독 분류법 중 하나인 K-mean 기법을 적용하였다.

Figure 2.

Results of pre-processing hyperspectral images and producing reference images. (A) Hyperspectral Image(R: 700 nm, G: 550 nm, B: 470 nm), (B) MNF result image, (C) K-mean classification result, (D) Reference Image.

이 때 비오염부 및 오염부의 경계면을 분리할 수 있도록 최대한 많은 범주로 분류를 시도하였고 그 결과 141개 범주로 분류 되었다(Figure 2C). 분류 결과는 고해상도 이미지와 분광 특성을 바탕으로 육안 분류를 시도하고, 유사한 특성을 보이는 범주를 군집화 하였다(Figure 2D). 군집화 된 범주별 픽셀수와 점유율은 Table 2와 같으며, 이를 참조 이미지로 활용하여 SAM 기법의 적용 결과와 비교하였다.

Pixel and occupancy by class of Reference Image

3.2. 표면오염물의 분광 특성

석불의 초분광 영상에서 생산된 참조 이미지의 범주별 분광 특성은 Figure 3과 같다. 생물로 인한 오염은 지의류와 조류로 인한 표면 피복이 나타나며, 생물 반응으로 인한 근적외선 반사도가 높게 형성되는 것이 관찰된다. 암석부와 변색은 생물과 상이한 분광 특성이 나타나는 것을 알 수 있다. 이는 광합성 생물에 존재하는 Chlorophyll-a가 가진 분광 특성에서 기인한 것이다.

Figure 3.

Spectral characteristics of surface contaminants, (A) Rock, (B) Yellow discoloration, (C) Red discoloration, (D) Dark purple algae, (E) Greenish gray lichen, (F) Gray lichen, (G) Green lichen, (H) Dark green lichen, (I) Spectral curve of surface contaminants.

Chlorophyll은 가장 널리 분포하는 천연색소이며, 모든 식물의 잎이나 다양한 부분에서 나타난다(Humphrey, 2004). 이러한 Chlorophyll의 색소 중 Chlorophyll-a는 대체로 청색 밴드(중심파장 약 490 nm)에서 반사도가 낮고 녹색 밴드(중심파장 약 560 nm)에서 반사도가 높다. 또한 적색 밴드(중심파장 약 665 nm)에서도 반사도가 낮으나, 적색 경계 밴드(중심파장 약 705 nm)에서 반사도가 매우 높게 나타나는 특징이 있다(Park et al., 2018). 특히 적색경계(Red Edge) 밴드는 식물의 반사율이 급격한 증가를 보이는 약 680∼750 nm의 파장영역을 지칭하며, 이는 적색 파장대와 근적외선 파장대의 중간 영역에 해당된다(Cho and Skidmore, 2006).

석불 표면의 녹회색 지의류(Figure 3E), 회색 지의류(Figure 3F), 녹색 지의류(Figure 3G)와 같은 생물 피복 범주에서는 Chlorophyll-a의 특징 및 적색경계 밴드를 확인할 수 있다. 이들은 녹색 밴드에 비해 적색 밴드가 낮은 반사율을 보이거나, 적색경계 밴드에서 반사율이 급격하게 증가하는 경향을 보인다. 또한 암자색 조류(Figure 3D)와 암녹색 지의류(Figure 3H)의 적색경계 밴드는 급격한 증가를 보이지만 녹색 밴드의 반사율이 낮게 나타난다.

전체 범주 중 암석은 가장 높은 반사율이 나타나고(Figure 3A), 색상 역시 백색에 가까운 회색으로 나타난다. 황색 변색은 암석보다 낮은 반사율을 보이고 청색과 적색 밴드에서 미약한 흡수 피크가 나타나며(Figure 3B), 적색 변색은 청색 밴드에서 낮은 반사율을 보이나 적색 파장에 가까워질수록 반사율이 증가한다(Figure 3C). 그림자와 흑색 변색은 가장 낮은 반사율을 보인다(Figure 3I). 암석부 및 변색의 경우 생물 범주와 달리 적색 밴드와 적색경계 밴드 간의 차이가 거의 없다.

3.3. SAM 기법을 이용한 감독분류

석조문화재에 훼손이 발생하게 되면 암석의 표면은 다양한 무기⋅유기 오염물에 의해 변질되고 각각의 표면오염물들은 종류마다 서로 다른 분광 반사곡선을 나타낸다. 따라서 석조문화재를 대상으로 측정한 분광데이터를 종합하고 각 물질의 분광반사 곡선을 분류하여 훼손상태를 파악할 수 있다(Chun et al., 2015). 이 연구에서는 석조문화재의 훼손양상을 파악하기 위해 초분광 영상에 대한 분류를 실시하였고 분류에는 SAM 기법을 적용하였다.

SAM(Spectral Angle Mapper) 알고리듬은 영상에서 나타나는 스펙트럼과 참조물질의 스펙트럼의 유사성을 신속하게 맵핑할 수 있는 도구이다(Kruse et al., 1993). 이 알고리듬은 밴드수와 동일한 n차원에서 참조스펙트럼(r)과 초분광 영상 화소벡터(t) 사이의 각도(a)를 바탕으로 참조 스펙트럼과의 유사성을 결정하며(Figure 4), 아래 식을 따른다.

Figure 4.

Schematic principle of Spectral Angle Mapper(Kruse et al., 1993).

(1) α = cos-1i=1ntiri(ti2i=1n)12(ri2i=1n)12

이 연구에서는 SAM 기법을 사용하되 2가지 방법으로 나누어 참조 이미지와 비교를 실시하였다. Method A는 초분광 영상 내 관심영역(ROI)의 분광곡선을 참조 자료로 선정하여 영상을 분류하는 방법이다. 분석자가 참조 자료를 선정할 수 있고 신속하다는 장점이 있으나, 분석자의 경험에 의해 분류 정확도가 좌우되는 한계점을 지닌다. Method B는 무감독 분류를 통해 분류된 범주별 분광 곡선을 라이브러리로 구축하여 분류 하는 방식이다. 이 방식은 분류를 위한 참조 자료 선정 과정에서 발생할 수 있는 주관적 요소의 최소화가 가능하다.

분류된 이미지의 비교를 위해 10개의 범주를 참조 이미지와 대응하여 오차행렬을 통한 비교를 실시하였다. 오차행렬은 행과 열로 설정된 숫자의 정사각형 배열로서, 지상에서 검증된 개개의 범주와 비교하여 특정 범주에 할당된 픽셀(혹은 점유율)을 의미한다. 열은 일반적으로 참조 데이터를 나타내며, 행은 분류된 데이터를 나타낸다. 오차행렬은 분류에 존재하는 오류와 함께 각 범주의 정확도를 명확하게 설명할 수 있다는 점에서 매우 효과적인 방법이다(Congalton, 1991).

또한 오차행렬의 정확도를 평가하기 위해 이산 다변량 기법 중 하나인 Kappa 분석을 실시하였다. Congalton and Mead(1983)에 의해 원격탐사 분야에 소개된 Kappa 분석은 오차행렬간의 정확도를 통계적으로 측정한 값으로 아래 식을 통해 산출된다.

(2) K^ = Nxiii=1k - i=1k(xi×x+j)N2 -  i=1k(xi×x+j)

여기서 K는 행렬에서 열의 수, xii는 열i와 행i에 관찰된 값, xi와 x + j는 각각 열i와 행i에 대한 합계이며, N은 행렬에 포함된 모든 화소수이다.Congalton and Green(2009)에 따르면 Kappa 분석을 통해 산출되는 값은 + 1에서 – 1이며, 0.80보다 큰 값은 높은 정확도를 나타내고 0.40∼0.80사이의 값은 중간 정도의 일치도, 0.40 미만은 일치도가 낮은 것으로 판단할 수 있다.

3.3.1. 관심영역(ROI)을 통한 분류(Method A)

분석자가 분류 범주를 지정해야 하는 감독분류 특성상 각 범주에 대한 훈련샘플을 지정하는 것은 분류 정확도에 매우 민감한 영향을 미친다(Park et al., 2016). 정확한 훈련샘플 지정을 위해 고해상도 이미지(Figure 5A)와 해당 화소에 대한 분광정보를 확인하여 관심영역을 선정하고(Figure 5B) 이를 참조자료로 활용하였다. 선정된 관심영역과 분류 결과 이미지는 Figure 5C와 같으며, 참조 이미지와 비교 결과는 Table 3과 같다.

Figure 5.

Classification process and results using SAM, (A) High resolution image, (B) ROI selection in hyperspectral image, (C) Classification image with ROI(Method A), (D) Classification image using library(Method B).

Classification result with Method A and error matrix for calculating accuracy (%)

Method A의 분류 결과, 전체정확도(Overall Accuracy; OA)는 52.07%로서 각 범주별 정확도는 2.76%∼71.68%로 나타난다. 암석, 그림자, 적색 변색, 녹색 지의류, 암녹색 지의류에서 50% 이상의 정확도가 나타났다. 반면, 황색 변색, 회색 지의류, 녹회색 지의류의 경우 20% 이하의 정확도를 보인다. 특히 회색 지의류와 녹회색 지의류는 10% 이하의 낮은 정확도를 보인다.

오차행렬을 바탕으로 오분류 된 경향을 분석하면, Kappa 지수는 0.43으로 보통의 분류 정확도로 산출되어 신뢰도가 낮은 것으로 나타났다. 녹회색 지의류, 녹색 지의류, 암녹색 지의류는 대부분 같은 생물 범주 내에서 오분류가 확인되고, 황색 변색과 적색 변색도 암석으로 오분류 되는 경향을 보인다. 이러한 결과는 오분류 화소가 참조물질과의 상관성이 있음을 제시한다. 즉 오분류 화소가 같은 계통의 범주에 분포하는 경향이 나타난다. 암자색 조류의 경우 다양한 표면오염물 범주가 혼재되어 분류되는 것이 확인된다.

3.3.2. 라이브러리를 활용한 분류(Method B)

초분광 큐브에서 공간상의 화소는 하나 이상의 물질에서 나오는 반사에너지가 정량적으로 혼합되어 나타나며, 이를 분광혼합(Spectral mixture)이라 한다. 분광 혼합은 하나의 픽셀이 대상체의 특성을 담기에는 공산해상도가 부족하거나 분광센서의 해상도가 낮아 서로 다른 물질에서 나오는 스펙트럼이 개별 스펙트럼의 합으로 나타날 때 발생한다(Lee et al., 2019).

야외의 석조문화재에는 다양한 표면오염물이 존재하고, 오염물과 비오염부의 경계면이 모호하다. 또한 해상도로 인해 표면오염물과 비오염부가 혼합되어 분광혼합된 화소가 나타날 수 있다. 이러한 화소는 다수의 범주가 다양한 비율로 혼합되어 있으며, 영상 분류 시 오분류 혹은 과분류의 형태로 나타나 분류된 이미지 전체 정확도를 저해한다. 따라서 분류 정확도를 높이기 위해 분광혼합된 화소의 분광정보를 모두 라이브러리로 구축하여 분류시 기준이 되는 참조자료로 활용해야 할 필요가 있다.

오염물 범주의 분광특성과 분광혼합화소의 분광정보를 라이브러리로 구축하기 위해서는 오염물의 경계부에 대한 분광정보를 모두 분리해야 한다. 이를 위해 참조 이미지의 생산에 활용된 141개 범주의 분광정보를 추출하여 라이브러리로 구축하고 분류를 실시하였다. 이러한 분류법은 참조 이미지 구축을 위해 사용된 훈련자료를 참조 자료로 구성하여 사용하기 때문에 높은 정확도로 귀결될 가능성이 높다. 그러나 기존에 사용하는 방법(Method A)의 결과와 비교를 위해 분류를 수행하였다. 분류 결과 이미지는 Figure 5D이며, 참조 이미지와 비교 결과는 Table 4 와 같다.

Classification result with method B and error matrix for calculating accuracy (%)

Method B를 통한 분류 결과, 전체정확도(OA)는 63.61%로 나타났으며 범주별 정확도는 23.40%∼69.95%의 범위로 확인된다. 암석, 그림자, 암자색 조류, 녹색 지의류, 암녹색 지의류는 50% 이상의 정확도를 보이고 있어 Method A와 비교했을 때 정확도가 상대적으로 높아진 것을 알 수 있다. 그러나 전체적인 정확도가 증가한 것에 비해 암석, 그림자, 적색 변색은 오히려 정확도가 감소한 것이 확인된다.

오차행렬을 통해 오분류 경향을 분석하면, Kappa 지수는 0.55이며, 흑색⋅적색⋅황색 변색은 대부분 암석과 변색 범주들에 오분류 되는 것이 확인된다. 암자색 조류를 포함한 생물오염은 같은 생물 범주 안에서 오분류 화소가 분포한다. 이전 ROI를 통한 분류(Method A) 결과와 비교했을 때 라이브러리를 활용한 분류 결과에서 오분류 된 화소와 참조물질의 상관성이 더 높아진 것으로 판단된다.

4. 고찰 및 결론

이 연구에서는 석조문화재 표면오염물에 대한 초분광 영상 분류와 정확도 평가를 시도하였다. 특히 선행연구에서 제안된 초분광 이미지 분석법을 개선하고자 모니터링에 활용 가능한 참조 이미지 구축 방법과 정확도 평가 기법을 제시하였다.

위의 방법을 적용하기 위해 다양한 표면오염물이 관찰되는 경주 굴불사지 석조사면불상의 서측면 본존불에 대하여 초분광 영상을 취득하고 오염물의 분광 특성을 파악하였다. 이 때 분류 기법을 적용한 이미지와 비교하기 위해 무감독 분류를 바탕으로 참조 이미지를 구축하였다. 영상분류는 ROI를 활용한 분류와 분광혼합화소를 고려하여 제작한 라이브러리를 적용한 분류로 나누어 적용하였고, 이 때 SAM 기법을 사용하였다. 분류 결과, 전체정확도는 분류 방법에 따라 52.07%와 63.61%로 나타났으며, Kappa 지수는 0.43과 0.55로 라이브러리를 활용한 분류 결과가 더 유의미한 것으로 확인되었다. 또한 분류 시 오분류 화소는 동일한 계열의 오염에 분포하는 경향이 나타난다.

이와 같은 결과를 종합하면, ROI를 적용하여 분류한 결과에 비해 분광혼합화소를 고려한 라이브러리 적용 결과가 정확도면에서 획기적인 개선이 이루어지지 않았으며, 분광 혼합화소가 명확하게 구분되지 않는 문제점이 나타났다. 이러한 문제는 SAM 기법의 특성으로 인해 나타난 것으로 해석된다. SAM 기법은 분광분포곡선을 각도로 환산하여 참조물질과의 유사도를 비교한다. 이 때 참조물질로 활용하는 범주의 개수가 많아지면 참조물질과 비교군의 환산각도 사이에 다른 범주들이 분포하게 되며, 비교군의 화소가 참조물질의 범주가 아닌 다른 범주로 분류되면서 영상 전체 정확도가 낮아진다. 이를 개선하기 위해서는 암석⋅화학적 오염(변색)⋅생물피복 등 계통에 따라 영상을 분리한 후 분류를 수행해야 한다.

유사한 사례로 Lee et al.(2018)은 육역과 해역을 포함한 연안 지역을 분류할 때 통합 영상으로 분류하는 것 보다 육역과 해역을 분리하여 재분류를 수행하는 것이 효과적임을 제시하였다. 따라서 석조문화재 표면오염물의 정량분석을 위해서는 오염물의 계통에 따른 단계적인 분류와 정확도 개선이 선행되어야 한다. 또한 국내⋅외 연구 사례를 도입하여 3차원 초분광 영상을 구축하고 문화재 진단에 반영하는 연구가 필요하며, 이를 바탕으로 정밀한 모니터링을 위한 기초 데이터를 확보해 나가야 할 것으로 사료된다.

Acknowledgements

이 연구는 국립문화재연구소 문화유산조사연구(R&D) 사업의 일환으로 수행되었다.

References

Aasen H., Burkart A., Bolten A., Bareth G.. 2015;Generating 3D hyperspectral information with lightweight UAV snapshot cameras for vegetation monitoring: From camera calibration to quality assurance. ISPRS Journal of Photogrammetry and Remote Sensing 108:245–259.
Cho H.G., Lee K.S.. 2014;Conparision between hyperspectral and multispectral images for the classificarion of coniferous species. Journal of Remote Sensing 30(1):25–36. (in Korean with English abstract).
Cho M.A., Skidmore A.K.. 2006;A new technique for extracting the red edge position from hyperspectral data: The linear extrapolation method. Remote Sensing of Environment 101(2):181–193.
Chun Y.G., Lee M.S., Kim Y.R., Lee M.H., Choi M.J., Choi K.H.. 2015;Utilization of hyperspectral image analysis for monitoring of stone cultural heritage. Jounal of Conservation Science 31(4):395–402. (in Korean with English abstract).
Congalton R.G.. 1991;A review of assessing the accuracy of classifications of remotely sensed data. Remote Sense of Environment 37:35–46.
Congalton R.G., Green K.. 2009. Assessing the accuracy of remotely sensed data: Principles and practices 2ndEd CRC Press. Boca Raton: p. 105–108.
Congalton R.G., Mead R.A.. 1983;A quantitative method to test for consistency and correctness in photointerpretation. Photogrammetric Engineering and Remote Sensing 49(1):69–74.
Han D.Y., Cho Y.W., Kim Y.I., Lee Y.W.. 2003;Feature selection for image classification of hyperion data. Korean Journal of Remote Sensing 19:171–179. (in Korean with English abstract).
Humphrey A.M.. 2004;Chlorophyll as a color and functional ingredient. Journal of Food Science 69(5):422–425.
Jo W.H., Lim Y.h., Park K.H.. 2019;Deep learning based land cover classification using convolutional neural network: a case study of Korea. Journal of the Korean Geographical Society 54:1–16. (in Korean with English abstract).
Jo Y.H., Lee C.H.. 2011;Making method of deterioration map and evaluation techniques of surface and three- dimensional deterioration rate for stone cultural heritage. Journal of Conservation Science 27:251–260. (in Korean with English abstract).
Kruse F.A., Lefkoff A.B., Boardman J.W., Heidebrecht K.B., Shapiro A.T., Barloon P.J., Goetz A.F.H.. 1993;The spectral image processing system(SIPS)-interactive visualization and analysis of imaging spectrometer data. Remote Sensing of Environment 44:145–163.
Lee C.H., Chun Y.G., Jo Y.H., Suh M.C.. 2012;Evaluation of slope stability and deterioration degree for Bangudae petroglyphs in Ulsan, Korea. Journal of Conservation Science 28(2):153–164. (in Korean with English abstract).
Lee J.D., Bang K.J., Kim H.H.. 2018;Land cover classification of coastal area by SAM from airborne hyperspectral images. Journal of the Korean Association of Geographic Information Studies 21(1):35–45. (in Korean with English abstract).
Lee M.S., Kim K.S., Min G.H., Son D.H., Kim J.E.. 2019;Recent trends of hyperspectral imaging technology. Electronics and Telecommunications Trends 34(1):86–97. (in Korean with English abstract).
Lee S.H., Kim J.S.. 2019;Land cover classification using sematic image segmentation with deep learning. Korean Journal of Remote Sensing 35(2):279–288. (in Korean with English abstract).
Oliveira R.A., Tommaselli A.M., Honkavaara E.. 2019;Generating a hyperspectral digital surface model using a hyperspectral 2D frame camera. ISPRS Journal of Photogrammetry and Remote Sensing 147:345–360.
Park J.H., Lee C.H., Choi G.E.. 2017;Characteristics of surface deterioration and materials for stone guardian and stone memorial tablets from Muryeong royal tomb of Baekje kingdom in ancient Korea. Journal of Conservation Science 33(4):241–254. (in Korean with English abstract).
Park J.S., Seo J.J., Go J.W., Cho G.S.. 2016;The study on improving accuracy of land cover classification using spectral library of hyperspectral image. Journal of Cadastre & Land informatix 46(2):239–251. (in Korean with English abstract).
Park S.W., Lee S.J., Yun Y.S., Shin D.Y., Park S.Y., Lee Y.W.. 2018;Estimation of chlotophyll-a concentration for inland water using red-edge band of Sentinel-2 and RapidEye. The Geographical Journal of Korea 52(3):445–454. (in Korean with English abstract).
Raimondi V., Cecchi G., Lognoli D., Palombi L., Grönlund R., Johansson A., Svanberg S., Barup K., Hällström J.. 2009;The fluorescence lidar technique for the remote sensing of photoautotrophic biodeteriogens in the outdoor cultural heritage: A decade of in situ experiments. International Biodeterioration & Biodegradation 63:823–835.
Sciuto C., Allios D., Bendoula R., Cocoual A., Gardel M.E., Geladi P., Gobrecht A., Gorretta N., Guermeur N., Jay S., Linderholm J., Thyrel M.. 2019;Characterization of building materials by means of spectral remote sensing: The example of Carcassonne’s defensive wall(Aude, France). Journal of Archaeological Science 23:396–405.
Yang H.J., Lee C.H., Kim S.D., Choi S.W.. 2004;Conservation scheme and deterioration states of the Wanggung-ri five-storied stone pagoda in the Iksan, Korea. Conservation studies 25:171–195. (in Korean with English abstract).

Article information Continued

Figure 1.

Schematic diagram of the hyperspectral imaging system.

Figure 2.

Results of pre-processing hyperspectral images and producing reference images. (A) Hyperspectral Image(R: 700 nm, G: 550 nm, B: 470 nm), (B) MNF result image, (C) K-mean classification result, (D) Reference Image.

Figure 3.

Spectral characteristics of surface contaminants, (A) Rock, (B) Yellow discoloration, (C) Red discoloration, (D) Dark purple algae, (E) Greenish gray lichen, (F) Gray lichen, (G) Green lichen, (H) Dark green lichen, (I) Spectral curve of surface contaminants.

Figure 5.

Classification process and results using SAM, (A) High resolution image, (B) ROI selection in hyperspectral image, (C) Classification image with ROI(Method A), (D) Classification image using library(Method B).

Table 1.

Type of surface contamination and class separation of the Stone Buddhas in Four Directions at Gulbulsa Temple Site, Gyeongju.

Rock Shadow
Discoloration

Algae

Lichen

Black Yellow Red Dark purple Gray Greenish gray Green Dark green
Rock SH BK-D YE-D RD-D DP-A GR-L GGR-L GN-L DGN-L

Table 2.

Pixel and occupancy by class of Reference Image

Rock SH BK-D YE-D RD-D DP-A GR-L GGR-L GN-L DGN-L Total
Pixel 38,838 11,295 18,369 3,775 2,757 31,952 1,778 439 1,920 31,143 142,266
Ratio (%) 27.30 7.94 12.91 2.65 1.94 22.46 1.25 0.31 1.35 21.89 100

Table 3.

Classification result with Method A and error matrix for calculating accuracy (%)

Overall Accuracy(OA) = 52.07%
Kappa coefficient = 0.43
Reference data
Classified data CLASS Rock SH BK-D YE-D RD-D DP-A GR-L GGR-L GN-L DGN-L
Rock 71.68 0.54 8.61 5.14 4.6 6.96 0.67 0.08 0.03 1.69
SH 0.07 84.26 5.33 0 0 3.64 0 0 0.01 6.68
BK-D 17.25 9.94 27.19 0.34 0.58 16.14 0.38 0.03 0.25 27.9
YE-D 68.1 0.11 4.38 17.87 5.05 2.07 1.49 0.55 0.04 0.32
RD-D 20 1.16 6.28 20 51.16 0.7 0 0 0 0.7
DP-A 9.94 2.11 10.45 0.49 1.37 44.9 1.38 0.26 0.77 28.34
GR-L 41.93 0.11 5.32 9.35 0.14 17.19 7.04 7.7 4.52 6.69
GGR-L 0.44 0 0 0 0 14.95 65.46 2.76 4.5 11.9
GN-L 0 3.26 0 0 0 6.52 1.02 0.61 52.34 36.25
DGN-L 0.03 2.33 0.18 0 0 36.96 0.83 0.09 7.36 52.22
Classification result
Pixel 28,839 7,053 40,424 9,063 430 37,475 2,857 689 491 14,939
Ratio(%) 20.27 4.96 28.42 6.37 0.30 26.34 2.01 0.48 0.35 10.50

Table 4.

Classification result with method B and error matrix for calculating accuracy (%)

Overall Accuracy(OA) = 63.61%
Kappa coefficient = 0.55
Reference data
Classified data CLASS Rock SH BK-D YE-D RD-D DP-A GR-L GGR-L GN-L DGN-L
Rock 69.95 1 10.08 5.76 4 5.92 0.82 0.23 0.07 2.17
SH 2.4 64.61 21.8 0 0 2.12 0.06 0 0.01 9
BK-D 33.63 9.72 42.09 1.96 1.69 3.52 0.19 0 0 7.22
YE-D 62.74 0.07 2.74 24.86 7.43 0.71 0.57 0.32 0 0.55
RD-D 53.31 1.77 4.46 8.58 29.38 1.37 0.05 0 0 1.08
DP-A 4.28 1.42 3.85 0.01 0.17 60.12 0.91 0.14 0.63 28.47
GR-L 23.26 0.42 5.44 1.74 0.17 26.32 23.4 1.26 0.87 17.12
GGR-L 11.58 0.12 0.6 1.43 0 23.03 19.21 26.49 4.77 12.77
GN-L 1.39 0.2 0 0.1 0 10.7 4.83 0.95 53.66 28.12
DGN-L 2.42 4.54 6.63 0 0.01 25.28 0.62 0.07 1.85 58.58
Classification result
Pixel 35,415 10,906 20,954 4,348 2,039 33,776 2,868 838 29,109 2,009
Ratio (%) 24.89 7.67 14.73 3.06 1.43 23.74 2.02 0.59 20.46 1.41