16.이동길외5.pdf924.2KB

서 론

 어업은 단계별로 탐어, 집어, 어획, 어획물처리의 순서로 진행되는데, 이들 공정별 작업인력 투입현황을 살펴보면 어획물 선별에서 가장 많은 인력이 소모되고 있다 (White et al., 2006). 어업 종사자는 선박에서 잡힌 어류를 판매하기 위해 선박 또는 위판장에서 어종 및 크기를 선별하는 작업이 필수적이며, 어획물 선별도 어종을 선별한 뒤 크기 선별을 하고 있어 인력이 이중으로 투입되고 있는 실정이다. 이러한 어로작업 이외에도 수산분야 연구자들은 자원회복을 위한 자원조사와 어구의 적정성 여부를 판별하기 위해 잡히는 어종 선별과 어체 측정이 필수적이며, 여전히 플라스틱 자나 어체 측정 판을 이용하여 체폭 (Body Width, BW), 전장 (Total Length, TL), 체고 (Body Height, BH) 등을 측정하고 저울을 이용하여 체중 (Weight, W)을 측정한 후, 측정한 자료를 기록지에 작성하여 입력하는 방식으로 자료를 관리하고 있어, 다소 많은 시간과 인력이 소모된다.

 이를 해결하기 위하여 접촉식 어체 측정방법, 컴퓨터 비젼기술과 컨베이어 벨트를 적용하는 방법 등 어종 및 크기 선별이 완전자동화가 가능한 시스템 개발에 대한 연구가 진행되고 있다. 이 가운데 컴퓨터 비젼기술을 이용한 방법은 대부분이 CCD 카메라를 이용하여 어류의 색깔과 형태에 대한 데이터를 취득한 후, 그 데이터를 기반으로 영상처리 기법 등을 이용하여 어종 및 크기를 선별하고 있다 (Lee et al., 2012; Strachan et al., 1994; Strachan, 1993a; White et al., 2006; Yang et al., 2011).

 Tayama et al. (1982)는 어류의 형태만을 식별하여 어종을 선별하는 방법으로 4종의 어류 선별에서 95% 신뢰도를 보이는 연구결과를 도출하였으며, 유사한 방법으로 Wagner et al. (1987)는 9종의 어류 선별에서 90% 신뢰도를 보이는 연구결과를 도출하였다. Strachan (1993a)는 색깔과 어류형태를 동시에 식별함으로써 23종의 어류 선별에서 선별 99% 신뢰도를 보이는 연구결과를 도출하였다. Strachan (1993b)와 White et al. (2006)가 제안한 대구의 체장, 넙치의 전장 측정 알고리즘은 일정한 간격으로 어류의 폭의 중점을 취득함으로써 대구와 넙치의 꼬리가 휘어진 상태에서도 측정이 가능하며, 또한 어류가 임의의 각도로 투입될 때에도 측정이 가능하도록 설계되었다. 하지만, 대부분의 선행연구에서 제안한 어류의 전장 측정 알고리즘은 어류의 전장측정 시 지느러미를 포함하여 등 간격으로 나눈 중점을 취득하여 측정하기 때문에 측정 대상의 어류 지느러미 손상이 있을 때에는 정확한 어류의 전장 측정이 어렵다. 그리고 대구의 전장 측정오차에서는 일정한 방향으로 투입되는 경우에는 측정오차가 1%이내로 작지만, 임의의 방향으로 어류가 투입될 때에는 측정오차가 3%로 다소 높은 연구결과를 보였다 (Strachan, 1993b).

 본 논문에서는 이러한 문제점을 개선하기 위해서 영상의 전처리 단계에서 형태학적 영상처리를 이용하여 넙치의 지느러미를 선택적으로 필터링 함으로써 지느러미의 손상에 영향을 받지 않고, 에지 패턴매칭 (Edge pattern matching)을 이용하여 임의의 방향으로 넙치가 투입될 때도 측정오차를 최소화할 수 있는 어체 측정 알고리즘 및 시스템 개발에서 도출된 연구결과를 소개하고자 한다.

재료 및 방법

어체 측정 시스템 설계

 어체 측정 시스템은 투입되는 어류의 영상을 기반으로 어류의 체형을 측정할 수 있도록 Fig.1과 같이 제안하였다. 어체 측정 시스템은 어류의 영상취득부와 무게측정부로 나눌 수 있으며, 영상취득부는 비젼 시스템 (Panasonic, PV200),CCD 카메라 (상부：1대, 측면부：1대), 조명장치 (하부：1대, 측면부：1대)로 구성된다. 상부에 설치된 CCD 카메라는 어류의 체폭 및 전장을 측정하며, 측면에 설치된 CCD 카메라는 어류의 체고를 측정한다. 측정판 하부 및 측면에 설치된 조명은 상대적으로 외부의 조명보다 밝게하여 넙치의 윤곽선을 선명하게 하고 각 부분의 지느러미를 필터링을 용이하도록 하기 위해서 백색 LED와 투명한 유리판을 결합한 조명장치를 사용하였다. 무게 측정부는 로드 셀과 무게를 표시하는 표시장치 (Indicator)로 구성된다. Table 1은 어체 측정 시스템에 구성된 장치들의 사양이다.

Fig. 1. Measurement system for morphometric charac teristics of a flatfish.

Table 1. Specifications of vision system and CCD camera

어체 측정 알고리즘 설계

 본 논문에서는 어체 측정 대상어종으로 넙치를 선정하였으며, 일반적으로 Fig. 2와 같이 넙치의 체폭은 등지느러미 (Dosal fin)와 뒷지느러미 (Anal fin)를 제외한 육질부분의 최대 폭을 측정하며, 넙치의 전장은 머리 부분의 최대끝단부터 꼬리지느러미 (Caudal fin) 최대끝단간의 길이를 측정하고, 체고는 넙치의 육질이 가장 두꺼운 부분을 측정한다. 제안한 넙치용 어체 측정알고리즘은 Fig. 3과 같은 영상처리과정을 통해 넙치의 체폭, 전장, 체고를 측정한다. 영상처리과정은 전처리 단계와 측정 단계로 나눌 수 있으며, 전처리 단계에서는 넙치의 체폭, 전장, 체고의 측정이 용이하도록 원영상 (Original image)을 측정 가능한 영상으로 가공하는 단계로 원영상 취득, 8비트 그레이 스케일 변환, 형태학적 영상처리로 구성되며, 측정 단계는 전처리된 영상을 기반으로 어류의 체형을 측정하는 과정이다.

Fig. 2. Measurement elements measuring morphometric characteristics of flatfish.

전처리 단계

 전처리 단계에서는 Fig. 4와 같이 원영상을 8비트 그레이 스케일 이미지 (a)로 변환 후, 명암비 조절 (b), 이진화 (Binarization) (c), 형태학적 영상처리를 통해 측정 가능한 영상으로 가공된다. 명암비 조절은 영상의 질을 개선하는 것으로 Fig. 5와 같이 가장 밝은 영상정보를 255, 가장 어두운 영상정보를 0으로 하는 8비트 그레이 스케일 이미지의 명암대비를 수식 (1)을 이용하여 명암비 조절이 가능하다. g (x, y)는 그레이 스케일 출력 값, f (x, y)는 그레이 스케일 입력 값, a는 그레이 스케일의 명암비를 조절하는 계수를 나타낸다. 명암비 조절은 영상의 명암을 선택적으로 구간을 확대하여 그 구간에서 이진화하기 위한 목적이다. 이진화는 선택된 구간의 명암을 임의로 설정된 밝기 레벨을 기준으로 흑과 백으로 표현하기 위한 것으로 측정환경의 외부조명에 대한 영향을 최소화하고 측정 대상물의 윤곽을 선명하게 한다.

Fig. 4. 8-bit gray scale(a), contrast ratio adjustment(b), and binarization(c) images.

 형태학적 영상처리는 넙치의 등지느러미, 뒷지느러미, 꼬리지느러미를 선택적으로 필터링 하기 위한 것으로 두 개의 영상과 하나의 행렬로 구조요소 (Structuring Element, SE)가 관계된 형태학적 변환이다. 기본 연산자로는 팽창(Dilation)과 침식 (Erosion)연산이 있으며, 수식은 (2), (3)과 같다. 팽창연산은 영상의 성분을 확대시키고 침식연산은 축소시킨다 (Gonzalez, 2007).

 여기서 B는 구조적 요소를 의미하고 f (x)는 입력 신호를 의미한다. 이 두 연산을 이용하여 열기 (Opening)와 닫기 (Closing)의 복합 형태학적 연산을 수식 (4), (5)와 같이 정의할 수 있으며, 열기는 일반적으로 개체의 윤곽을 부드럽게 만들고 좁은 지협 (Isthmus)을 끊고, 가느다란 돌출부를 제거한다. 닫기도 윤곽을 부드럽게 만드는 경향이 있으나, 열기와는 반대로 윤곽의 좁은 끊김 (Break)과 길고 가는 깊은 틈 (Gulf)을 붙이고 작은 홀을 제거하고 간극을 채우는 역할을 한다.

 따라서 전처리 단계에서의 형태학적 영상처리는 넙치의 체폭, 전장과 같이 측정요소별로 넙치의 등지느러미, 뒷지느러미와 꼬리지느러미를 선택적으로 필터링 되어야 하기 때문에 Fig. 6과 같이 영역 A, B로 나누었다. 영역 A에서는 넙치의 체폭을 측정하기 위해서 형태학적 영상처리의 열기연산을 통해 넙치 등지느러미와 뒷지느러미의 윤곽을 부드럽게 만들고, 좁은 지협을 끊어 가느다란 돌출부를 제거하여 넙치의 육질부분만 측정할 수 있도록 하였다. 영역 B에서는 넙치의 전장을 측정하기 위해서 닫기연산을 통해 지느러미의 윤곽을 부드럽고 선명하게 만들어 꼬리지느러미까지 측정할 수 있도록 하였다.

Fig. 6. A captured reference flatfish image, divided into two scopes, (a) and (b).

Fig. 7. Opening (a) and closing (b) operations.

Table 2. Value of in 8-bite gray scale image, contrast ratio and binarization parameter set in a preprocessing phase

Fig. 7은 명암비 조절 및 이진화 영상처리 후, 형태학적 영상처리의 열기연산 (a), 닫기연산 (b)이미지이다. Table 2는 전처리 단계에서 밝기에 대한 이미지처리 및 형태학적 영상처리에 설정된 8비트 그레이 스케일 이미지 사이즈, 명암비, 이진화 영역, 구조요소의 행렬의 값을 보여준다.

측정 단계

체폭 측정 알고리즘

 넙치의 체폭은 넙치의 등지느러미와 뒷지느러미를 제외하고 육질부분의 최대 폭을 측정해야 하므로 넙치의 체폭 측정 과정은 전처리 후 아래와 같이 7단계로 나누어 Fig. 8과 같이 측정한다.

 단계 1 넙치의 무게중심 (x_G, y_G)을 구한다. 넙치의 무게중심은 식 (6)과 같이 픽셀들의 합으로 나타낼 수 있으며,

 여기서, I (x, y)가 영상의 x, y위치에서 픽셀의 값을 나타낼 때 식 (7)을 이용하여 넙치의 1차 모멘트를 구할 수 있다.

 넙치의 무게중심은 식 (8)과 같이 구한다.

 단계 2：넙치의 무게중심으로부터 좌측200mm 거리에서 무게중심까지 스캔하여 최대폭 (BW_L) 지점 검출
단계 3：넙치의 무게중심으로부터 우측200mm 거리에서 무게중심까지 스캔하여 최대폭 (B_WR)지점 검출
단계 4：Fig. 9와 같이 에지 패턴매칭과 에지 위치검출 (Edge point detection) 기법을 이용하여 넙치의 머리 부분과 꼬리자루 (Caudal Penduncle, CP) 위치를 지나는 직선 (D_HCP) 검출
단계 5：검출된 BW_L과 D_HCP의 수선거리 (D_L)측정
단계 6：검출된 BW_R과 D_HCP의 수선거리 (D_R)측정
단계 7：체폭은 D_L과 D_R의 합으로 도출

전장 측정 알고리즘

 넙치의 전장은 머리끝단과 꼬리지느러미의 최대끝단을 측정한다. 넙치와 같은 경우에는 꼬리자루의 위치를 경계로 꼬리가 휘어지는 특성을 이용하여, 넙치의 머리부터 꼬리자루 위치까지의 직선거리와 꼬리자루 위치부터 꼬리 최대 끝단까지의 직선거리 합으로 계산하는 알고리즘을 설계 하였으며, 넙치의 머리 끝단위치와 꼬리자루 위치는 Fig. 9와 같이 비젼 시스템의 저장된 넙치의 머리 및 꼬리자루 위치를 에지 패턴매칭과 에지 위치검출로 측정할 위치를 검사한다. 넙치의 전장 측정 과정은 전처리 후, 아래와 같이 4단계로 Fig. 8과 같이 측정한다.

 단계 1：Fig. 9와 같이 비젼 시스템은 저장된 넙치의 머리 및 꼬리자루 위치의 이미지를 기반으로 투입된 넙치의 머리 끝단위치와 꼬리자루 위치를 에지 패턴매칭으로 위치인식
단계 2：에지 위치검출로 검출한 넙치의 머리 끝단위치에서 에지 패턴매칭으로 꼬리자루 패턴 내의 측정 위치까지의 직선거리 (D_HCP) 측정
단계 3：꼬리자루 (CP)지점과 에지 위치검출로 검출한 넙치의 꼬리끝단 위치까지의 직선거리 (D_CPT) 측정
단계 4：넙치의 전장은 D_HCP과 D_CPT치의 합으로 도출

체고 측정 알고리즘

 체고 측정은 Fig. 8과 같이 넙치의 체고보다 높게 지정된 서치영역 내에서 에지 위치검출 기법을 이용하여 서치영역 내의 상부에서 바닥면으로 주사하면서 스캔하여 넙치 체고의 최대 위치를 검출하는 방식으로 체고를 측정한다. 하지만 측면에서 설치된 CCD 카메라는 체고를 측정 시 넙치가 투입되는 위치, 즉 원근감에 따라 취득하는 영상이 확대 축소됨에 따라서 측정하는 오차와 렌즈의 굴절률에 대한 오차가 발생한다. 이를 해결하기 위해서 상부에 설치된 CCD 카메라에서 넙치의 무게중심 (x_G, y_G) 위치를 검출하여, 측면에 설치된 체고 측정용 CCD 카메라와 측정대상물의 거리 (x), 즉 넙치의 무게중심의 x축 좌표 x_G에 따라 체고를 자동 보정하여 측정할 수 있도록 하였다.

결과 및 고찰

 본 논문에서는 넙치의 체폭, 전장, 체고 측정 알고리즘의 측정오차를 분석하기 위해서 버니어 켈리퍼스로 측정한 실측치 (BW：117mm, TL：329mm, BH：24.5mm) 값을 사용하였다. Fig. 10는 넙치 체폭의 실측치와 넙치의 체폭 측정 알고리즘을 통해 반복적으로 측정한 결과이며, 실측치와 넙치의 체폭 측정 알고리즘을 통해 측정한 체폭은 최대 0.402mm 오차를 보였다. Fig.11은 넙치의 전장의 실측치와 넙치의 전장 측정 알고리즘을 통해 반복적으로 측정한 결과이며, 실측치와 넙치의 전장 측정 알고리즘으로 측정한 값이 최대 0.49mm 오차를 보였다.

 넙치의 체폭 및 전장 측정 알고리즘을 통해 동일한 크기의 넙치를 반복 측정 실험한 결과 측정 오차는 0.49mm이내였으며, 반복적으로 측정 시측정 값이 변하는 이유는 측정환경의 외부조명에 의한 영향 때문이며, 이를 해결하는 방법으로는 외부의 조명을 차단시키거나, 화소가 높은 CCD 카메라를 사용함으로써 분해능을 높여 오차를 줄일 수 있지만 화소가 높은 CCD 카메라 및 외부조명 차단을 위한 장치를 설치 시에는 많은 비용이 소모된다.

 Fig. 12는 넙치의 체고의 실측치와 넙치의 체고 측정 알고리즘을 통해 반복적으로 측정한 결과 이며, 넙치의 체고 측정 알고리즘을 통해 측정한 넙치의 체고는 Fig. 13과 같이 측면에 설치된 CCD 카메라와 넙치와의 거리 (x)가 측정판 중심에서 －89.237〜117.29mm로 변할 때 측정오차는 2.6〜3.5mm 변화함을 알 수 있다. 이것은 측정대상물과 카메라의 원근감에 따라 측정오차가 나는 것으로 측정오차를 보정하기 위해서 체고 측정 시 측정대상물과 거리 (x)에 따라 측정된 데이터를 기반으로 통계 프로그램(OriginLab Coporation, Origin 8.0)을 이용하여 수식 (9)와 같이 2차 다항식으로 상관함수를 도출하였다.

 여기서, 다항식 계수는 B² 〓4.99205×10^-5 , B1〓24.54675, 상수는 Intercept〓－0.02292이며, 상관계수는 0.99659이다. 상관함수 기반으로 수식(10)과 같이 보정함수를 도출할 수 있으며, 여기서, x₀ 는 측정판의 중심에서 측정한 오프셋(offset) 값이다.

 1차 보정 후 넙치의 체고를 재측정한 결과 Fig.14와 같으며, 실험결과로부터 측정한 데이터는 렌즈의 곡면과 유사한 측정오차가 존재함으로 알 수 있으며, 이 원인은 카메라 렌즈의 모양에 의해서 발생하는 방사왜곡으로 영상 센서의 가장자리 부근에서 픽셀의 위치가 왜곡되는 현상으로 판단된다. 따라서 본 논문에서는 카메라 렌즈의 방사왜곡을 최소화하기 위해서 체고를 2차 다항식으로 재보정하였다. 보정된 함수는 수식(11)과 같으며, 다항식 계수는 B2〓6.9875×10^-5  ,B1〓－0.00195, 상수는 Intercept〓－24.53846이며, 상관계수는 0.99556이다.

 재보정후 측정한 체고는 Fig. 15와 같으며, 측정결과 체고의 측정오차가 약 0.00985mm으로 최소화됨을 알 수 있었다. 따라서 넙치의 체고측정 알고리즘은 넙치가 투입되는 위치와 측면에 설치되어 있는 CCD 카메라 사이의 거리에 발생하는 영상의 원근감에 의해 발생하는 오차를 2차 다항식으로 1차 보정을 통해 최소화할 수 있음을 알 수 있었으며, 또한 렌즈의 방사왜곡때문에 발생하는 측정오차를 2차 다항식으로 재보정함으로써 측정오차를 최소화할 수 있다는 결과를 얻었다.

 위 실험과 같이 넙치를 포함한 다양한 어류의 체고 측정 시에 보정하지 않고, 손쉽게 투수광형 레이저 변위센서 등을 이용하면 매우 정밀한 데이터를 수집할 수 있다. 하지만, 레이저 변위센서를 이용하면 체고를 스캔할 수 있도록 컨베이어 벨트와 같은 장비가 추가적으로 소요됨으로써 비용이 증가하며, 또한 두 마리의 어류가 동시에 겹쳐서 투입될 때에는 각 어류의 체고를 측정 및 구분하기가 어렵다.

결 론

 본 논문에서는 형태학적 영상처리를 이용하여 넙치 형태를 측정하기 위해 제안한 각 측정요소별 측정 알고리즘 성능을 분석하였다. 제안한 측정 알고리즘은 각 측정 요소 체폭, 전장, 체고에 각 지느러미를 선택적으로 필터링 할 수 있도록 설계되었으며, 체고 측정 시 발생하는 대상물과의 원근감 및 렌즈의 왜곡에 대한 오차를 두차례의 보정을 통해 오차를 최소화하였다.

 넙치의 체폭및 전장 측정 오차는 버니어 켈리퍼스로 측정한 실측치를 기준으로 오차를 검증했으며, 넙치의 체폭 측정 알고리즘과 버니어 켈리퍼스로 측정한 실측치 (BW：117mm)는 최대측정오차 0.402mm 차이를 보였다. 넙치의 전장은 넙치의 전장 측정 알고리즘과 버니어 켈리퍼스로 측정한 실측치 (TL：329mm)와 최대측정오차 0.49mm 차이를 보였다. 넙치의 체고는 1차보정 후, 버니어 켈리퍼스로 측정한 실측치(BH：24.5mm)는 측정대상물과 체고를 측정하기 위해 설치된 CCD 카메라의 거리 (x)가 측정판 중심에서 －89.237〜117.29mm로 변할 때 2.6〜3.5mm 측정오차가 발생하였으며, 2차 보정 후, 넙치의 체고 측정오차는 약 0.00985mm임을 보였다. 측정시간은 약 1.5초 이내이다.

 본 논문을 통해서 형태학적 영상처리를 이용하여 어류의 형질 측정이 가능함을 알 수 있었으며, 향후에는 다양한 어종의 형태를 측정하기 위해서는 각 어류의 측정요소별 특성을 분석하여 측정 알고리즘을 설계하는 것이 필요할 것이다.본 논문에서는 납작한 어류인 넙치를 대상으로 측정 알고리즘을 설계했지만, 향후에는 방추형어류인 고등어, 참조기 등에 대한 측정 알고리즘을 설계하는데 있어서 넙치보다 측정 알고리즘 설계 접근이 쉬울 것으로 판단된다. 그 이유는 방추형 어류와 같은 경우에는 넙치와 같이 각 지느러미를 선택적으로 필터링 할 필요가 없기 때문이다. 본 논문의 결과를 통해서 향후 수산자원 통합관리시스템 개발에 큰 기여를 할 것으로 기대되며, 측정하기 위한 인력 및 비용도 대폭 감속될 것으로 사료된다.

사 사

 본 연구는 국립수산과학원 수산시험 연구사업 (PR-2012-FE-016)의 지원에 의해 수행되었습니다.