1. 서 론
문화유산은 시간이 흐름에 따라 자연적 또는 인위적 원인에 의하여 점진적으로 손상된다. 특히 외기 환경에 노출되어 있는 문화유산은 여러 손상 요인에 직접적인 영향을 받기 때문에 각별한 주의가 필요하다. 문화유산을 보존하기 위해서는 손상 상태를 정확하게 파악하고 적절한 보존 조치를 신속하게 취해야 한다. 이를 위해 다양한 기관에서 전국의 문화유산을 대상으로 모니터링을 시행하고 있다. 모니터링을 통해 문화유산의 물리적⋅기능적 결함 및 내재한 위험 요인을 발견하고 이를 바탕으로 보존 방향을 결정한다.
현재 모니터링은 문화유산의 종류와 모니터링 목적에 따라 다양한 방법으로 시행되고 있다. 최근 디지털 기술이 발달함에 따라 다양한 하드웨어 및 소프트웨어를 기반으로 기존의 문화유산 보존 관리 방식을 디지털로 전환하려는 움직임이 일어나고 있다. 주로 지상 레이저 스캐닝과 무인 항공 사진 촬영을 문화유산 모니터링에 적극적으로 활용하고 있다(Kim et al., 2019). 그러나, 3차원 스캐닝 기술을 이용하여 대상을 기록하고 비교하는 모니터링 방법은 일정한 시간 간격을 두고 일어나기 때문에 실시간 계측이 불가능하다는 단점이 있다.
현재 중요문화재 공간에는 감지 센서를 설치하여 침입 및 화재 발생을 감지하고 있다. 이는 단순히 이상 상태를 감지하는 것으로, 추가적인 손상 및 변위 추이의 지속적 모니터링이 필요하다. 이에 따라, 대상 표면에 계측 센서를 부착하여 균열이나 기울기 변화를 탐지하는 연구가 수행되었다(Choi et al., 2018). 그러나, 이 방법은 문화유산에 기기를 부착하기 때문에 미관을 해치고 표면을 훼손시킬 수 있다. 따라서, 문화유산 분야에서도 발전된 원격 감지 기술을 도입하여 문화유산 특성에 적합한 모니터링 및 손상 진단 방법 연구가 필요하다.
따라서, 본 연구에서는 합성곱 신경망(convolutional neural networks, CNN)(LeCun et al., 1989) 기반 의미론적 분할 모델을 이용하여 손상을 자동으로 진단하는 시스템을 제안한다. 컴퓨터 비전 기술을 기반으로 하여 문화유산에 접촉면이 발생하지 않으며, 신속하게 손상을 탐지하고 손상 영역을 시각화한다. 이는 인공지능 서비스를 실제 현장에 적용하여 사람에 의해 이루어지는 모니터링의 한계를 보완하고 기존 소수 전문가의 경험과 주관적 판단에 의존하는 문화유산 보존 시스템으로부터 탈피하는 것을 목표로 한다.
2. 연구 대상 및 방법
2.1. 연구 대상
부여 정림사지 오층석탑은 유일하게 완전한 형태로 남아있는 백제 시대 석탑으로 익산 미륵사지 석탑과 함께 목탑의 구조적 특징을 잘 보여주는 석탑 양식이다. 1단의 기단부 위에 5층의 탑신부를 놓고 정상에는 상륜부를 형성한 석탑 구조를 가진다. 좁고 낮은 기단, 배흘림 기법의 기둥 표현, 넓고 얇은 지붕돌의 형태는 목조건물의 가구 특징을 잘 보여주고 있다(Buyeo-gun, 2007). 정림사지 오층석탑은 불탑의 재료가 목재에서 석재로 옮겨가는 과정의 근거가 되며 석탑의 등장 시기를 추정하게 해주는 귀중한 자료이다.
1962년에는 보존 가치를 인정받아 국보로 지정되어 현재까지 관리되어 오고 있다. 정림사지 오층석탑은 1948년에 시행된 보수를 시작으로 지금까지 비정기적으로 보존 처리가 이루어지고 있다(Buyeo-gun, 2007). 그러나, 석탑은 특별한 보호시설 없이 야외에 있어, 여러 가지 손상 요인에 노출이 되어 있다. 따라서, 보존 상태를 지속적으로 진단하여 손상 양상에 따른 체계적인 보존 대책이 필요하다.
2.2. 연구 방법
본 연구에서는 석탑에 나타나는 손상을 자동으로 탐지하고 시각화하기 위해 객체 분할 및 시각화에 광범위하게 활용되는 Mask R-CNN(He et al., 2017)을 활용하였다(Figure 1). 먼저, 딥러닝 모델을 훈련하기 위해서는 다량의 이미지 데이터세트가 필요하다. 그러나, 우리나라 문화유산을 위한 딥러닝 데이터세트가 존재하지 않기 때문에 우리나라 석탑에 특화된 이미지 데이터세트를 직접 구축하였다. 이를 위해 전국의 석탑을 대상으로 공공기관 홈페이지에서 이미지를 수집하거나 현장에서 직접 석탑을 촬영하였다. 현장 이미지 촬영에는 50 mm 표준 단렌즈의 디지털카메라(EOS R5, Canon, Japan)와 무인항공기(Phantom4RTK, DJI, China)를 사용하였다.
이미지 데이터를 의미론적 분할 모델에 활용하기 위해서는 이미지 내 손상 영역을 정의하고 손상 유형을 입력하는 라벨링(labeling) 과정을 거쳐야 한다. 주석 제작 도구(CVAT, Intel, U.S.A)를 이용하여 라벨링한 데이터는 의미론적 분할 모델에 맞는 데이터 포맷으로 변환하여 훈련에 이용하였다. Mask R-CNN 모델을 훈련하는 과정은 크게 지역제안네트워크(region proposal network, RPN)(Ren et al., 2015)을 이용한 손상 검출, 경계 상자(bounding box) 생성, 마스크(mask) 생성 단계로 구분할 수 있다. 훈련이 완료된 모델은 정림사지 오층석탑의 다양한 이미지를 대상으로 탐지한 손상 영역을 시각화하고 성능을 평가하였다. 예측된 손상 영역을 실제 손상 영역과 일치하는 정도를 비교 분석하여 본 연구에서 개발한 손상 탐지 모델의 현장 적용성을 검토하였다.
3. 손상 자동 탐지 및 시각화
3.1. 손상 클래스 선정
석탑의 손상은 발생 원인에 따라 물리적⋅화학적⋅생물학적⋅인위적⋅구조적 요인으로 나뉘며, 단독 또는 복합적 작용으로 나타난다. 정림사지 오층석탑에 가장 두드러지게 나타나는 손상 원인은 물리적 요인이다. 석탑의 전체적인 표면에는 입상 분해가 일어나고 있으며, 기단부에는 균열과 박락이 부분적으로 관찰된다. 부재의 모서리를 중심으로는 크고 작은 탈락이 관찰된다. 옥개석의 이격은 정림사지 오층석탑에서 가장 주의가 필요한 손상 유형이며 구조적 불균형을 유발할 수 있으므로 지속적인 모니터링이 필요하다.
정림사지 오층석탑에 작용하는 화학적 요인은 두 가지로 나뉜다. 첫째는 빗물과 대기오염물질이 혼합되어 생성된 오염물이고, 둘째는 석탑 내부에 스며든 빗물이 장시간 암석 용해 물질이나 보수재료와 결합하여 용출된 오염 고착물이다. 오염물의 형태는 옥개 받침에 많이 나타난 물결무늬 모양, 탑신에 주로 나타난 흰색 분말 덩어리 형태, 옥개석 하부의 흑색 종유석 형태로 나눌 수 있다(Kim et al., 2005). 특히 탑신과 옥개석에서 흑색 및 흑갈색 표면 변색이 두드러지며 옥개 받침과 옥개석 하부면 등 강우와 직접 접촉이 없는 부분에 높은 점유율을 보인다.
현재 정림사지 오층석탑에 작용하는 생물학적 요인은 크게 다루지 않는다. 기단부에 균류와 조류에 의해 검게 변색된 표면에 회백색 지의류가 밀생하고 각층의 낙수면에는 수근 식물이 자생하고 있었으나, 2007년에 실시된 보존처리에 의해 상당 부분 제거되었다(Buyeo-gun, 2007). 현재 석탑의 부재 표면에는 균류, 조류, 지의류, 선태류 등이 착생했던 자리에 연회색부터 암갈색까지 다양한 사출 흔적이 전체적으로 남아있다.
인위적 요인으로는 옥개석 및 보주 찰주공에 충전된 보수 물질이 있다. 옥개석 및 보주 찰주공의 틈 사이로 빗물이 유입되어 발생하는 오염물질과 용출물질에 의한 풍화를 방지하기 위해 폴리우레탄폼과 실리콘 수지를 주입하여 보존처리를 실시하였다(Buyeo-gun, 2007). 수리 복원에 사용된 합성수지는 원암에 이차적 손상을 촉진시킬 수 있으므로 영구적인 보존 재료가 될 수 없다(Kim and Kang, 1999). 기술이 발전함에 따라 가역적이고 물성 변화가 없는 더 우수한 보존 재료에 의해 현재 보수 물질이 대체될 수 있으므로 상태를 주기적으로 모니터링하여 문제점을 탐지하고자 한다.
종합적으로 정림사지 오층석탑에 나타난 손상 유형은 균열, 박락, 탈락, 이격, 입상 분해, 변색, 보수 물질로 나타난다. 그러나, 2019년 중점관리대상 문화재 모니터링 결과 보고서에 따라 입상 분해는 현재 정림사지 오층석탑에서 응급성이 낮은 손상 유형으로 분류되며 광학 영상 기반 탐지법에 적합하지 않다(Table 1)(National Research Institute of Cultural Heritage, 2020). 따라서, 본 연구에서는 가시적인 손상을 중점적으로 탐지하기 위해 최종 손상 클래스를 균열, 박락, 탈락, 이격, 변색, 보수 물질 총 6가지로 선정하였다.
3.2. 데이터세트 구축
딥러닝 모델의 성능은 고품질 훈련 데이터세트에 의해 결정된다. 양질의 데이터는 학습 오류를 줄이고 좋은 모델 성능으로 이어진다. 기존 연구는 데이터를 개방하지 않는 경우가 대부분이며 모두 해외 문화유산에 초점이 맞춰져 있으므로 우리나라 문화유산에 적합한 고품질 데이터를 구축하는 것이 필요하다. 따라서 우리나라 석탑 맞춤형 딥러닝 이미지 데이터베이스를 구축하였다. 훈련 데이터세트는 우리나라 전국의 석탑 문화유산을 대상으로 하여 딥러닝 모델이 석탑 손상 탐지에 대한 일반적인 성능을 갖도록 하였다. 문화재청의 국가문화유산포털과 국립문화재연구원의 문화유산 지식 e음에 제공된 석탑 이미지를 발췌하여 전국에 산재하는 석탑의 이미지를 단기간에 많이 수집할 수 있었다.
그러나, 이러한 이미지들은 딥러닝 훈련을 위해 촬영된 것이 아니기 때문에 화질이 낮거나 다양한 각도와 거리에서 촬영되지 못한 한계점이 있었다. 이를 해결하기 위해 현장에서 필요한 석탑 이미지를 촬영하였다. 촬영 대상은 손상지도가 구축되어 있는 석탑으로 선정하였다. 이는 이미지 수집 후 라벨링 작업 시 손상지도를 근거로 하여 손상 영역을 정확히 표시하기 위함이다. 이미지를 촬영할 때는 딥러닝 모델이 한국 석탑 양식의 특징을 학습하고 범용적으로 활용될 수 있도록 촬영 거리, 고도, 조도 등 다양한 환경 조건을 고려하였다.
3.3. 이미지 전처리 및 라벨링
수집한 데이터는 필요한 전처리 및 라벨링 과정을 거쳐 딥러닝 모델의 입력 데이터(input data)로 사용한다. 전처리 단계에서는 이미지 크기 조정, 데이터 증강 등의 과정을 통해 품질을 향상시키고 데이터의 다양성을 보장한 뒤, 라벨링 작업을 통해 정확한 객체의 경계 상자와 분할 마스크를 생성한다. 전처리 단계에서는 데이터를 일관되게 처리하고 라벨링에 필요한 추가 정보를 유지할 수 있으며, 라벨링 단계에서는 전처리된 데이터를 기반으로 정확한 라벨링 작업을 수행할 수 있다.
본 연구에서는 전처리 단계에서 이미지를 증강시킨 후 라벨링을 하는 순서로 진행하였다. 먼저 전처리 단계에서는 다양한 상황에서 변형된 입력 데이터를 이해할 수 있도록 원본 데이터로부터 새로운 데이터를 생성하였다(Figure 2). 이러한 데이터 증강 기법을 사용하면 훈련 데이터의 다양성이 증대되어 모델이 다양한 패턴과 변동성을 학습할 수 있게 된다. 이를 통해 모델의 일반화 능력이 높아져 새로운 입력 이미지에 대한 예측 성능을 향상시킬 수 있다.
훈련 데이터로는 수집된 이미지에 손상 유형이 입력된 라벨맵(label map)이 필요하다. 의미론적 분할 모델의 특성상 이미지 주석 처리에는 많은 시간과 인력이 요구되며 양질의 데이터를 확보하기 위해서는 숙련된 라벨링 과정이 필요하다. 지도 학습(supervised learning)을 위해서는 일관된 라벨링이 필수적이며 특이한 경우에 대응할 수 있는 능력이 필요하다. 문화유산 이미지 데이터를 위한 일관성 있는 작업을 보장하기 위한 라벨링 절차를 정립하였다.
먼저, 훈련 데이터 수집을 위해 대상을 선정할 때, 손상지도가 구축되어 있는 문화유산을 우선으로 선택한다. 이후, 기존의 손상지도를 근거로 하여 현장에서 취득한 이미지의 손상 유형을 정의하였다. 마지막으로, 손상의 형태적 특징을 고려하여 기존의 손상지도와 대조하며 손상 영역의 경계를 따라 폴리곤(polygon) 마스크를 그렸다. 이와 같은 객관적인 절차를 통해 문화유산에 적합한 데이터를 확보하였다. 최종적으로 라벨링이 완료된 전국의 석탑 이미지 2,000장을 훈련 데이터세트로 구축하였고, 정림사지 오층석탑 이미지 135장을 테스트 데이터세트로 구축하였다. 훈련 데이터세트와 테스트 데이터세트에서 각 손상 유형별로 이미지 내 손상 객체가 차지하는 비율은 다소 차이가 있었다(Table 2).
3.4. 딥러닝 프레임워크 설계
본 실험에서는 객체를 픽셀 단위로 정확하게 나누어 표현하는 의미론적 분할 기법을 활용하였다. 의미론적 분할 기법은 객체가 같은 유형에 속하면 각각 독립된 객체라도 하나의 색으로 표현한다. 또한, 모든 이미지 픽셀에 대한 클래스를 예측하여 객체의 위치와 미세한 형상까지 제공하기 때문에 문화유산의 손상 유형에 따른 양상을 시각화하기 위해서는 의미론적 분할 기법이 효과적이다. 대표적인 의미론적 분할 모델인 Mask R-CNN을 이용하여 석탑의 손상 유형을 분류하고 유형별로 색상 값을 다르게 하여 손상 양상을 시각화하는 마스크를 생성하였다.
Mask R-CNN은 여러 가지 아키텍처를 합친 네트워크로 이미지에서 특징을 추출하는 합성곱 백본(convolutional backbone)과 경계 상자를 인식하고 마스크를 예측하는 네트워크 헤드(network head)로 구성된다(Figure 3). 본 실험에서는 ResNet-101 백본, FPN(feature pyramid networks, FPN) 넥(neck) 및 FCN(fully convolutional networks) 헤드를 기반으로 하는 Mask R-CNN을 설계하였다. ResNet-101을 이용해 석탑 손상 유형을 판단하여 분류하고 FPN을 통해 손상 유형에 대한 픽셀 단위의 이미지를 추출하였다. Mask R-CNN에서 특징 추출을 위해 해당 아키텍처 구조를 이용하는 것은 정확도와 학습 속도 면에서 뛰어난 성과를 나타낸다.
데이터세트 구축 단계에서 수집된 이미지 2,000장을 훈련에 사용하였으며, 모델 내부적으로는 서로 다른 이미지 크기를 1333*800으로 공통 이미지 크기를 설정하여 다시 재구성하도록 설계하였다. Mask R-CNN은 합성곱 인공신경망을 통해 이미지로부터 피처맵(feature map)을 추출하며, 피처맵에서 RPN은 객체가 있을 만한 위치를 찾아서 수천 개의 영역을 직사각형의 형태로 제안한다. 제안된 영역들은 관심 영역 정렬층을 통해 고정된 형태의 피처맵으로 변환되며, 합성곱층으로 구성된 마스크 분기(mask branch)를 통해 객체 모양을 정확하게 분리한다. 그리고 깊은 구조의 인공신경망인 완전 연결층(fully connected layer)은 직사각형 형태의 경계 상자와 객체가 속한 클래스를 출력할 수 있다.
Mask R-CNN의 가장 큰 특징은 피처맵을 추출한 후, 해당 피처맵에서 객체 영역을 제안하는 것이다. 이러한 영역 제안 과정을 통해 Mask R-CNN은 객체 검출, 객체 분할, 객체 클래스 분류를 단일 딥러닝 네트워크 안에서 수행할 수 있다. 이러한 모델의 구조는 특정 데이터에 특화되지 않으며, 인식하고자 하는 대상의 데이터세트에 따라 모델을 쉽게 개선할 수 있는 장점을 갖고 있다. 이러한 특징과 장점은 Mask R-CNN을 활용하여 석탑의 손상을 탐지하고 시각화하는 데에 효과적이다. 따라서 Mask R-CNN은 석탑 문화유산의 손상 탐지 및 시각화 연구에 매우 유용하게 활용될 수 있다.
4. 실험 결과 및 평가
4.1. 성능 평가 방법
본 연구에서는 의미론적 분할 모델의 성능을 평가하는 데에 가장 보편적으로 사용되는 지수를 사용하였다(Zhu, 2004; Zhu et al., 2017). 제안하는 시스템의 성능은 손상을 탐지하는 것과 손상 영역을 분할하는 것 두 가지를 정밀도, 재현율, IoU(intersection over union)를 사용하여 평가하였다. 정밀도는 모델이 찾은 손상 영역 중에서 실제로 올바르게 탐지하고 분할한 영역의 비율을 나타낸다. 재현율은 실제 영역 중에서 모델이 정확하게 탐지하고 분할한 영역의 비율을 나타낸다. 혼동행렬(confusion matrix)의 참긍정(true positive, TP), 거짓긍정(false positive, FP), 거짓부정(false negative, FN)으로 정밀도와 재현율을 해석할 수 있다(Figure 4).
IoU는 모델이 예측한 영역과 실제 영역 사이의 겹치는 영역의 비율을 측정한다. 이는 픽셀 별로 진행되며, 결과가 1일 때 완전히 같은 이미지라고 볼 수 있다. 본 연구에서 IoU 0.5의 임곗값은 유효한 탐지와 그렇지 않은 탐지를 구별하는 데 사용된다. IoU 0.5에 대한 정밀도와 재현율을 각각 방정식 (1)과 (2)를 사용하여 계산하였다. 손상 예측 성능을 면밀히 분석하기 위해 평균 정밀도(average precision, AP)와 평균 재현율(average recall, AR)을 모두 표기하되 본 연구에서는 AR이 중요한 의미를 갖는다. 실제 석탑에 발생한 손상 중에서 제안된 시스템이 얼마나 정확하게 손상을 탐지하고 시각화했는지에 의의가 있기 때문이다. AP는 AR과 함께 종합적인 모델의 성능 평가에 필수적이며 세부적으로 값을 확인하고 모델 성능을 높이는데 사용하였다.
4.2. 실험 결과 분석
테스트 세트 135장에 대해 최종 학습 종료 시점인 36에포크에서 정림사지 오층석탑의 손상 탐지 및 시각화 성능을 분석하였다. 손상 탐지율은 이격, 탈락, 보수 물질, 변색, 박락, 균열 순으로 높게 나타났고, 손상 영역의 시각화는 탈락, 이격, 보수 물질, 박락, 변색, 균열 순으로 높은 성능을 보였다(Table 3). 탐지된 손상 영역에는 반투명한 마스크가 씌워지며, 각 손상 유형마다 다른 색깔로 시각화된다(Table 4). 손상 객체가 차지하는 면적이 넓고 경계가 명확할수록 탐지 및 시각화 성능이 높았다. 근거리에서 촬영한 이미지는 손상이 뚜렷하게 나타나지만, 원거리에서 촬영한 이미지에서는 손상 양상이 분명하지 않다. 특히, 원거리 촬영 이미지에서 박락된 면적은 흐릿하게 보이며 이격은 이미지에서 차지하는 픽셀 면적이 줄어들어 손상으로 탐지하기에 어려움이 있다.
탈락과 이격은 비교적 큰 면적을 지닌 객체이기 때문에 높은 예측 성능을 보였다(Figure 5, 6, 7). 이격은 폭이 넓을수록 잘 탐지되었고 폭이 좁고 촬영 거리가 대상과 멀어질수록 탐지 성능이 낮아졌다. 정림사지 오층석탑 3⋅4⋅5층 옥개부 이격에 보수 물질을 충진했기 때문에 해당 위치의 보수 물질은 이격으로 오판되는 경우가 많았다(Figure 8). 변색은 객체의 크기가 큰 것에 비해 비교적 낮은 재현율을 보였다. 정림사지 오층석탑은 신선한 암석의 비율이 낮고, 갈색과 흑색 변색의 경계가 뚜렷하지 않기 때문에 개별 객체로 판단하는 데 어려움이 있다. 또한, 날씨 및 조도에 따른 이미지의 밝기 변화는 결과에 영향을 미친다. 예를 들어, 빛이 비치는 방향에 따라 그림자가 석재 표면에 짙어질수록 변색으로 판단할 가능성이 높게 나타났다. 반대로 변색 영역에 빛이 강하게 비춰 석재 표면이 밝게 나타난 경우에는 변색으로 인식되지 않았다.
마지막으로, 문화유산이 가진 손상 특징과 의미론적 분할 기법이 가진 한계의 충돌 또한 결과에 큰 영향을 미친다. 문화유산의 손상 양상은 손상 요인을 한 가지로 정의하기 어렵고 복합적으로 발생하는 경우가 많다. 그러나 의미론적 분할 기법은 반드시 한 객체에 하나의 클래스가 정의되어야 하므로 문제가 발생한다. 예를 들어, 정림사지 오층석탑에는 전체적으로 변색이 일어난 상태이기 때문에 박락된 부위에 흑색 오염물로 피복되어 있는 경우가 있다. 이러한 경우 특정 영역에서 실제 정답값은 박락과 변색 두 개일지라도 하나의 정답 값만 라벨링해야 한다. 따라서 정답 값을 박락으로 설정한 경우 모델이 변색으로 예측한다면 이는 잘못된 탐지 결과로 분류되어 성능 측정 결과에 부정적인 영향을 미친다.
또한, 의미론적 분할 기법에서 한 객체에 하나의 클래스가 정의되어야 하는 점은 또 다른 문제를 일으킨다. 예를 들어, 정림사지 오층석탑의 표면 변색은 객체 간의 경계가 뚜렷하지 않아 각각을 개별 객체로 정확히 구분 지어 객체 수를 파악하기 어렵다. 이는 정답 영역의 범위를 설정하는 것을 어렵게 만들고 이러한 경우에 픽셀 기반 측정 방법은 잘 탐지된 영역에 대해서도 잘못된 탐지로 평가할 수 있다. 따라서 문화유산을 대상으로 딥러닝 모델의 결과를 평가할 때는 다양한 테스트 결과를 종합적으로 고려하되 특정 상황에서의 오판 가능성을 염두에 두어야 한다.
추가로, 기존 손상지도를 작성하는 방식과 제안된 시스템을 비교하기 위해 정림사지 오층석탑의 입면 이미지에 대한 정답값과 예측값을 비교하였다(Table 5). 4장의 입면 이미지는 모두 원거리에서 촬영된 이미지로 박락과 균열에 대한 판별률은 낮았음을 알 수 있다. 그러나, 정답값으로 설정된 대부분 영역을 잘 탐지하고 시각화한 것을 예측값에서 확인할 수 있다. 이러한 결과를 바탕으로 제안된 시스템은 석탑의 손상 탐지 및 시각화에 우수한 성능을 보이는 것으로 확인되며, 손상 모니터링에 적합한 성능으로 판단된다.
5. 고 찰
5.1. 제안 시스템의 활용 가치
현재 보존 전문가에 의한 정밀안전진단은 시간 간격을 두고 정기적으로 진행되고 있다. 정기 점검 간의 시간 간극을 메우기 위해 현장 관리 인력에 의해 일상적인 관리가 이루어지고 있다. 안전 경비 인력 배치 사업은 2008년 숭례문 방화 사건 이후 문화재청에 의해 시작되었으며 매년 예산이 증액되고 있다(Cultural Heritage Administration, 2012). 이는 사전에 손상을 방지하는 중요한 방안으로 인정받고 있지만, 현장 인력에 의한 관리는 외관 점검 및 위험 요인 신고 등으로 제한적이다. 또한, 점검표를 통해 각자의 주관에 의해 평가되므로 문화유산 현장에 따라 일관성이 떨어질 수 있다. 본 연구에서 개발된 시스템은 이러한 문제점을 보완하고, 현장 인력의 모니터링 수단으로써 활용될 수 있다.
의미론적 분할 모델의 탐지 결과는 훈련 데이터세트에 의해 성능이 크게 좌우된다. 이때, 보존 전문가에 의해 데이터세트가 구축된다면 보존 지식이 없는 현장 인력 또한 일상에서 정밀한 보존 관리를 할 수 있게 된다. 개발된 시스템이 현장 인력의 전문성을 지원하는 도구로 쓰임으로써 일상적 관리 차원에서도 손상 양상에 대한 직접적인 추이 점검 및 분석을 할 수 있다. 이러한 방법을 모니터링 지원 수단으로 활용하는 것은 문화유산의 보존과 관리에서 가장 효과적이고 근본적인 접근 방법 중 하나가 될 수 있다. 문화유산의 상태 변화를 직관적으로 파악할 수 있어 현장 인력의 작업을 보조하고, 이를 통해 문화유산의 원형을 보존하고 유지할 수 있는 지속 가능한 관리 방안 제시에 유용할 것으로 판단된다.
5.2. 훈련 데이터의 신뢰도 검증
문화유산 손상지도는 작성자와 작성 시기에 따라 동일한 문화유산이라고 할지라도 다른 결과로 나타난다(Table 6). 손상지도를 기반으로 한 훈련 데이터세트의 라벨링은 이러한 손상지도의 신뢰도에 따라 다르게 수행될 수 있다. 훈련 이미지의 손상 영역은 기존에 작성된 손상지도를 참고하여 폴리곤으로 표현되는데, 이때 신뢰할 수 없는 손상지도를 사용하면 훈련 결과에 문제가 발생할 수 있다.
보존 전문가의 숙련도에 따라 손상지도는 다르게 표현된다. 보존 전문가는 각자의 주관과 경험에 따라 육안 조사를 진행하며, 이로 인해 동일한 손상 영역에 대해 손상의 정도와 범위를 다르게 판단할 수 있다. 따라서 문화유산에 대해 충분한 지식과 정보를 가진 보존 전문가에 의해 작성된 것을 활용하여야 한다. 이를 통해 정확한 훈련 데이터세트를 확보할 수 있고, 이는 결과적으로 더 신뢰할 수 있는 딥러닝 모델의 학습 결과를 얻을 수 있다.
손상지도의 작성 시기에 따라 편향된 훈련 데이터가 생성될 수 있다. 손상지도가 작성된 이후에 문화유산의 상태가 변화하거나 추가적인 손상이 발생할 수 있다. 따라서 오래된 손상지도를 기반으로 훈련 데이터를 라벨링한다면 현재 상태와 일치하지 않는 정보가 포함될 수 있다. 또한, 일정 기간이 지난 후에 서로 다른 작성자들이 동일한 문화유산에 대해 손상지도를 작성할 경우에 결과는 상이할 수 있다. 이는 훈련 데이터세트의 라벨링 과정에서 일관성이 부족해지는 원인이 된다.
이러한 문제들은 훈련 데이터세트의 품질과 신뢰성을 저하시킬 수 있기 때문에 훈련 데이터세트를 라벨링하는 데에 있어서 중요한 고려 사항이다. 따라서 신뢰성 있는 훈련 데이터를 구축하기 위해서는 정기적인 모니터링과 최신 정보를 반영한 손상지도 작성이 필요하다. 또는 현재 문화유산을 촬영한 이미지를 바탕으로 숙련된 보존 전문가에 의해 라벨링이 이루어지는 방법이 있다. 이러한 방식을 통해 훈련 데이터세트의 신뢰도를 높일 수 있다.
6. 결 론
본 연구에서는 석탑에 나타난 여러 가지 손상을 인공지능을 활용하여 자동으로 탐지하고 시각화하는 연구를 수행하였다. 이를 위해 CNN 기반 의미론적 분할 모델인 Mask R-CNN을 활용하였다. 우리나라 문화유산에 적합한 데이터세트를 구축하기 위해 국내 석탑 이미지를 취득하여 기존 문화유산 손상지도를 바탕으로 손상을 라벨링하였다. 국내 석탑 이미지로 훈련된 모델은 손상 검출, 경계 상자 생성 및 손상 영역 시각화를 수행하는 단계로 구성되었다. 훈련된 모델의 성능은 정림사지 오층석탑을 대상으로 성능이 평가되었다. 추론된 손상 영역과 실제 손상 영역의 일치도를 비교 분석하여 연구에서 개발한 손상 탐지 모델의 현장 적용성을 검토하였다.
정림사지 오층석탑에 나타난 손상 탐지의 정밀도는 이격, 변색, 보수 물질, 탈락, 박락, 균열 순으로 성능이 높았으며 각각 0.776, 0.718, 0.688, 0.648, 0.619, 0.540으로 나타났다. 재현율은 이격, 탈락, 보수 물질, 변색, 박락, 균열 순으로 높았으며 각각 0.864, 0.724, 0.719, 0.653, 0.660, 0.625로 나타났다. 손상 영역 분할 정밀도는 변색, 보수 물질, 박락, 이격, 탈락, 균열 순으로 성능이 높았으며 각 각 0.696, 0.666, 0.625, 0.523, 0.522, 0.504로 나타났다. 재현율은 박락, 이격, 보수 물질, 탈락, 균열, 변색 순으로 높았으며 각각 0.680, 0.598, 0.596, 0.576, 0.537, 0.519로 나타났다.
실험 결과는 정림사지 오층석탑의 손상 영역을 성공적으로 탐지하고 시각화한 것으로 판단된다. 더욱 성능을 높이기 위해서는 다양한 조건에서 촬영된 양질의 이미지를 추가하여 데이터세트를 보완하여야 한다. 딥러닝 훈련에 필요한 고품질 데이터를 구축하기 위해서는 막대한 비용과 인력이 필요하다. 국내에서도 세계적인 수준의 기술 확보를 위한 노력과 지속적인 투자가 적극적으로 필요하다. 최근 과학기술정보통신부에서는 인공지능 훈련 데이터를 대규모로 구축하여 AI 허브를 통해 개방하는 사업을 시행한 바 있다(Ministry of Culture, Sports and Tourism, 2023). 그러나, 문화유산 분야에서는 아직 관련 연구와 지원이 부족한 실정이다.
또한, 문화유산 안전진단의 발전을 위해서는 본 연구 주제와 관련한 심층적인 후속 연구가 필요하다. 딥러닝 모델을 활용하여 손상 등급을 탐지하고 분류하는 방법이나 변위 발생 양상에 대한 추가적인 연구가 함께 이루어 진다면 문화유산의 유지관리에 있어 더욱 발전된 결과를 얻을 수 있을 것이다. 본 연구는 인공지능을 활용하여 문화유산의 손상을 탐지하는 연구 방법으로써 새로운 안전 진단 방법론을 제시하는 것에 의의를 지닌다. 인공지능을 활용한 안전진단 연구는 문화유산을 보존하는 데에 있어 중요한 응용 가능성을 가지고 있으며 지속적인 연구와 지원이 필요하다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
