Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2671-9940(Print)
ISSN : 2671-9924(Online)
Journal of the Korean Society of Fisheries and Ocean Technology Vol.52 No.2 pp.103-110
DOI : https://doi.org/10.3796/KSFT.2016.52.2.103

A study on structural feature and size distribution of swimming fish using an 3 dimensional pattern laser

Yongsu YANG, Kyounghoon LEE1, Yongbeom PYEON2, Eun-A YOON1, Dong-Gil LEE, Hyun-Su JO3
Fisheries Engineering Division, National Institute of Fisheries Sciences, Busan 46083, Korea
1School of Marine Technology, Chonnam National University, Yeosu 59626, Korea
2Department of Fisheries Sciences, Chonnam National University, Yeosu 59626, Korea
3Department of Marine Science and Production, Kunsan National University, Kunsan 54150, Korea
Corresponding author: khlee71@jnu.ac.kr Tel: +82-61-659-7124 Fax: +82-61-659-7129
February 18, 2016 May 12, 2016 May 18, 2016

Abstract

This study aims to estimate the species, size and shape of fish using a non-contact 3 dimensional pattern laser so that this preliminary test was carried out to understand the structural feature and length of goldfish according to water turbidity and depth in the aquacultural tank. 3-D pattern laser could clearly detect its morphological shape except the caudal fin due to soft tissue. Since the sensing strength of line laser light according to depth has sufficient power, it is possible to measure its depth and structural feature in the detected range. The result showed that the measured error of individual’s fork length was less than ±1% in the water using 3-D pattern laser, when compared with the measured value in the air.


3차원 패턴 레이저를 이용한 유영어류의 형태 및 크기 측정

양용수, 이경훈1, 편용범2, 윤은아1, 이동길, 조현수3
국립수산과학원 수산공학과
1전남대학교 해양기술학부
2전남대학교 수산과학과
3군산대학교 해양생산학과

초록


    National Fisheries Research and Development Institute
    R201644

    서 론

    수중에 분포하고 있는 해양생물의 정량적인 밀도를 추정하거나 행동특성, 사이즈를 파악하기 위해 일반적으로 카메라를 이용한 방법이 많이 적용되고 있다 (Davis et al., 1992; Harvey et al., 2003; Park et al., 2004; An et al., 2009; Yang et al., 2011). 수중에 서식하는 다양한 어종은 표층부터 바닥까지 광범위하게 분포되어 있고, 유영속도가 다양하여 환경적 변화가 심하기 때문에 공간에서 정량적 데이터를 측정하기 위한 계측기법이 필요하다. 최근 컴퓨터 인공지능 알고리즘을 이용하여 대상어류의 형상을 추출하고 성장률을 추정하는 단계까지 연구가 진행되었지만, 기존의 광학 및 영상처리기술은 해수의 탁도에 따른 시야확보가 선행되어야 하기 때문에 많은 기술적 어려움에 직면해 있다 (Costa et al., 2006; Yang et al., 2011).

    기존의 수중카메라를 이용한 광학 및 2차원적인 영상처리기술을 응용한 제품들은 해수의 탁도 및 환경적인 제약조건에 적합하게 구성해야 하고, 수중의 저질은 펄이나 모래 등으로 이루어져 있기 때문에 탁도가 높아 시야 확보가 힘들어서 계측에 어려움이 따른다. 멀티빔 방식의 Structure laser와 IR Camera를 이용한 계측방식은 광학 및 센서융합기술을 적용한 비접촉식 3차원 수중 어류를 측정할 수 있고, 측정의 불확실성과 어류의 스트레스를 최소화하며 측정의 시간적 공간적 제약이 없는 모니터링이 가능하다. 또한 이 방법은 저전력 시스템으로 운영할 수 있고, 공간적인 정량적 데이터를 초당 15∼30번 정도의 순시적이며 지속적으로 측정할 수 있어 계측 영역 내의 어류의 사이즈, 부피와 같은 생물학적 정보와 어류의 유영속도, 방향 등의 행동학적 정보를 실시간으로 관측할 수 있다.

    이 방식의 원리는 측정하는 대상체에 레이저를 주사하여 반사되는 파장의 주기를 이용하는 극초단파 방식과 초음파를 이용하는 방식과 마지막으로 광원을 대상체에 주사하여 광원의 패턴 차이를 이용해서 측정하는 방식으로 분류된다. 이 방식은 어류에 무해하면서 강한 광원의 역할을 할 수 있고, 어종의 형태를 파악하여 어종을 판별할 수 있으며, 어군의 규모를 평가할 수 있다. 따라서 본 연구에서는 비접촉식 3차원 패턴 레이저를 이용하여 어종 및 어군의 규모를 평가하기 위한 기초 연구로서 금붕어를 대상으로 탁도와 수심의 영향을 고려하여 대상물의 형태 및 크기를 파악하고자 하였다.

    재료 및 방법

    3차원 계측의 원리

    레이저를 이용한 3차원 공간 인식을 위해서는 레이저 출구에 선 또는 점 모양의 광원의 패턴을 만들 수 있는 광학 렌즈를 설치한다. 거리가 멀어지면 선 사이의 간격이 일정하게 증가하는 원리를 이용하여 깊이를 측정할 수 있다. 거리별로 laser line의 간격의 차이를 CMOS 카메라를 베이스로 한 깊이 센서에 자동처리할 수 있는 3차원 보정작업을 하였다. Laser line을 관측 대상체에 주사하고, 깊이 센서에 투영된 laser line의 개조치를 조사하여 화소 위치 값을 기준으로 3차원 보정된 실제 위치를 정량적으로 계산할 수 있다 (Fig. 1).

    본 측정 기법은 3차원 스테레오 카메라 측정기술을 기초로 한다 (Gudmundsson et al., 2008). 이들은 삼각측량을 포함한 스테레오 비전과 같이 깊이에서 초점, 깊이의 모양, 모션 깊이 각각의 장점을 가지고 있다. 삼각 시스템은 표면에 그려진 두 개의 line laser를 삼각함수를 이용하여 측정하게 된다. 표면의 두 점 (O1, O2)을 감안할 때 광학 렌즈의 한 점 (Pinhole)을 포함하여 세 개의 표시 표면에 두 개의 line laser에 의해 형성된 각도 α1 및 α2를 결정 표면 (O1, O2)과 점을 연결하여 Fig. 2와 같이 센서에 투영 (Oc1, Oc2)하게 된다. 이 두 가지 각도를 이용해 완전히 삼각형의 형상을 결정하고, 간단한 표면까지의 거리를 삼각 측량을 이용하여 측정한다.

    3차원의 공간을 인식하기 위해서는 절대좌표계에 대한 깊이 센서의 상대적 위치정보, 기울기, 렌즈 왜곡량 등과 같은 3차원 보정 파라미터가 필요하다. 이를 위해서 10개 파라미터 교정 법을 사용하였다 (Doh et al., 2001; Doh et al., 2002). 식 (1)은 외부요소 (, , , ,  ,  )와 내부요소 ( ,  , , )를 구하는데 사용된 관측 방정식이며, 절대좌표계 (X,Y,Z)에 대한 카메라 좌표계 (, , )의 관계는 Fig. 3Fig. 4와 같다.

    X,Y,Z = F X,Y,Z,x,y,z;dis, c X , c Y ,α,β,χ, m X , m Y , k 1 , k 2
    (1)

    여기서, 는 절대좌표계 원점 O (0, 0, 0)와 카메라 사진좌표계 원점 (, , )간의 거리를 나타내며, 좌표 ( ,  ,  )는 절대좌표계와 사진좌표계가 일치하도록 회전각 α, β, κ로 회전하였을 때, 점 P의 (사진 좌표계에서 P′) 절대좌표계상에서의 좌표를 나타낸다.  ,  는 카메라 사진좌표계의 축과 절대 좌표계의 축을 일치시켰을 때 사진좌표계의 원점이 절대좌표계의 원점으로부터 벗어난 이동량을 의미한다.

     ,  는 렌즈중심점과 화면중점 간의 초점거리를 의미하며, , 는 렌즈의 굴절 계수를 의미한다. Δ , Δ 는 방사상의 렌즈왜곡을 고려한 양으로 식 (2)로 나타낼 수 있다.

    ∆X = X r k 1 r 2 + k 2 r 4 ,∆Y = Y r k 1 r 2 + k 2 r 4
    r = X 2 + Y 2
    (2)

    3차원 공간을 인식하기 위해서는 절대적 위치에서의 공간 좌표계를 이용하여 상관관계를 결정하기 위해서 Z축을 기준으로 일정거리를 Fig. 5와 같이 이동하면서 line laser간의 거리를 측정하게 된다 (Okamoto et al., 1997). 3차원 보정작업을 위해서 간격이 20 mm로 일정한 300 mm (W) × 300 mm (H)의 켈리브레이터를 60 mm 간격으로 총 600 mm를 11번 이동시켜 2,156개의 위치 정보를 획득하며, 총 보정범위는 300 mm (W) × 300 mm (H) × 600 mm (L)이다.

    실험 구성

    본 실험은 CMOS 카메라 (MV1, Photonfocus, USA), 660 nm 레이저 (MVmicro, FlexPoint, USA), 3D 소프트웨어 (SAL3D, AQSENSE, USA), PC, 아크릴 수조 (430 mm (L) × 360 mm (H) × 280 mm (W)), 금붕어 (평균체장 55 mm, 20개체)를 대상으로 Fig. 6과 같이 구성하였다. CMOS 카메라는 600~900 nm의 파장 범위를 인식하고, 해상도 2048×1008 pixel이며, 초당 해상도의 조정에 따라 15~30 fps로 측정이 가능하다. 레이저의 파장은 660 nm이며, 100 mW의 출력과 전체 화각은 45°이다. 카메라와 레이저는 100 mm의 간격과 12°의 사이각을 이루고 있고, 측정 범위는 500∼800 mm (Z축)이다.

    본 실험은 카메라로부터 500∼800 mm 사이의 수조에서 유영하는 금붕어의 행동패턴을 관측하기 위해서 line laser를 조명하고, 초당 15 fps의 연속된 3차원 데이터를 GiGa 랜선을 통해 PC에 저장하며, SAL3D 소프트웨어로 3차원 결과물을 출력하였다.

    결과 및 고찰

    수조 내 어류 측정

    본 연구에서는 Fig. 7과 같이 line laser와 CMOS 카메라를 베이스로 한 깊이 센서를 이용하여 금붕어 20개체의 형태를 측정하였다 (Fig. 8). Fig. 8에서 보는 바와 같이 금붕어의 전체적인 형태는 명확하게 탐지되었지만, 꼬리지느러미는 정확하게 측정되지 않았다. 그 이유는 line laser light가 Fig. 9와 같이 금붕어의 꼬리지느러미는 가랑이 체장으로 표시할 수 있고, 꼬리지느러미의 laser light 가 통과하는 부위는 레이저가 통과하여 측정되지 않는 것으로 사료된다. 따라서 Line laser light로 계측된 결과는 금붕어의 가랑이 체장을 중심으로 길이를 측정하였다.

    수심에 따른 측정 결과

    수조의 깊이가 카메라로부터 500~800 mm 사이에 존재하며, 측정된 금붕어들의 유영 깊이에 따른 측정데이터를 Fig. 10과 같이 표시하였다. Fig. 10에서 보는 바와 같이 유영 깊이에 따라서 대상체의 색상이 다르게 나타나고, 그 범위는 빨간색 (650 mm)에서 녹색 (770 mm)으로 갈수록 깊어진다. Line laser light의 센싱강도가 충분하고 CMOS 카메라의 화각에 만족하는 범위 내에서는 가시적으로 정확한 깊이 값을 알 수 있다. 하지만 본 연구에서 사용한 레이저의 출력은 100 mW로 출력이 낮기 때문에 탐지거리가 짧지만, 레이저의 출력을 높이면 탐지거리도 증가시킬 수 있을 것으로 판단된다.

    탁도에 따른 측정 결과

    수조의 탁도에 따른 측정은 물을 환수 후 30분 후에 Fig. 11과 같이 탁도가 낮을 때 측정하였고, 사료를 1일에 2회 정도 주고, 3일 후에 Fig. 12와 같이 부유물 등에 따른 탁도가 높을 때 측정을 하였다. Fig. 11과 같이 탁도가 눈으로 확인이 가능할 정도로 깨끗하면 line laser light의 센싱감도가 높아서 바닥면 (녹색으로 표시)까지 측정이 되고, 대상체의 형태적 구분이 명확하 게 나타나며, Fig. 12와 같이 탁도가 높으면 수면에서 일정거리에 있는 금붕어는 측정이 잘되고 있지만 바닥면은 측정이 되지 않는 것으로 확인된다. 이와 같이 탁도에 따라 대상체는 확실히 구분이 가능하므로 3차원 패턴 레이저 기법을 이용하면 탁도와 상관없이 대상체가 잘 식별되는 것을 알 수 있었다. 따라서 line laser를 조명으로 사용하면 탁도 및 유영의 행동 패턴 및 개수를 위한 정확한 측정기법을 위한 계측법으로 적합할 것으로 생각된다.

    탁도에 따른 금붕어의 가랑이 체장과 체폭의 오차율은 Fig. 13과 같다. 최대 측정 오차는 평균 가랑이 체장에 비해서 29.5 mm, 체폭은 1.1 mm로 나타났으며, 최소 가랑이 체장과는 –32.7 mm, 체폭은 2.6 mm로 나타났다.

    어종 식별을 위한 측정기법 활용

    지금까지 다양한 어종의 유영 형태를 통한 모니터링이 가능하지만 어종의 선택적 선별은 어려움이 있다. Fig. 14(a)는 금붕어의 실물이고, Fig. 14(b)는 공기 중에 노출하여 측정한 3차원 데이터이며, Fig. 14(c)는 수조에서 유영하고 있는 금붕어의 3차원 계측 데이터이다. 사람의 눈으로 모니터링 했을 경우 이들의 유사성은 정확히 확인이 가능하다. 본 실험 장비를 이용해서 다양한 어획 어종의 3차원 데이터베이스를 확보하고, 유영 중인 어류의 3차원 데이터와 비교하면 어종의 선별도 가능할 것으로 생각된다. 3차원적인 계측 데이터는 길이 부피 등 많은 선별 가능한 어체의 외형 정보에 대한 판별식을 만들어 낼 수 있다.

    실측과 레이저를 이용한 체장 비교

    금붕어 20개체에 대한 가랑이 체장과 체고를 3차원 계측 후 표본 조사를 하였다. 레이저를 이용하여 공기 중에 노출하였을 때와 수중에서 유영 중일 때 3차원 계측을 하고, 실험이 끝난 후 실측으로 가랑이 체장과 체고를 측정하여 그 결과를 비교하였다 (Table 1, Fig. 15). 가랑이 체장의 실측치는 42.0~68.0 mm (평균=54.7 mm), 3차원 계측 공기 중에 노출하였을 때는 41.6~67.5 mm (평균=54.3 mm), 3차원 계측 수중에서 유영 중에는 42.5~68.5 mm (평균=55.2 mm)이었고, 체고의 실측치는 13~23 mm (평균=17.1 mm), 3차원 계측 공기 중에 노출하였을 때는 13.4~23.2 mm (평균=17.6 mm), 3차원 계측 수중에서 유영 중에는 13.8~23.5 mm (평균=17.7 mm)이었다. 실측치를 기준으로 3차원 계측과 비교하면 공기 중에는 가랑이 체장이 0.4 mm, 체고가 0.5 mm 짧게 나타났으며, 유영 중에는 가랑이 체장이 0.5 mm, 체고가 0.6 mm 길게 나타났다. 이와 같이 단일 대상에 대한 측정오차는 기계적 오차보다 낮은 것을 알 수 있었다.

    본 연구에서는 비접촉식 3차원 line laser를 이용하여 탁도와 수심의 영향을 고려하여 어류의 형태 및 크기를 파악하는 연구를 수행하였다. 그 결과, 레이저 방법으로 계측한 금붕어의 형태는 실측과 유사한 체형을 묘사하였고, 크기는 실측 결과 값과 거의 유사한 것을 알 수 있었다. 이것으로 레이저 방법을 이용하면 어종의 식별과 군의 규모를 충분히 계측 가능할 수 있을 것으로 사료된다. 또한 이러한 형태 및 사이즈는 탁도 및 수심에 따라 영향을 받지만, 계측 장비의 설치 장소 문제 등을 고려한다면 충분히 실측과 유사한 값을 얻을 수 있을 것으로 판단된다.

    결 론

    본 연구에서는 비접촉식 3차원 패턴 레이저를 이용하여 어종 및 규모를 평가하기 위한 기초 연구로서 금붕어를 대상으로 탁도와 수심의 영향을 고려하여 대상물의 형태 및 크기를 파악하였다. 3차원 패턴 레이저를 이용하면 금붕어의 전체적인 형태는 명확하게 탐지되었지만, 금붕어는 가랑이 체장을 가지고 있기 때문에 꼬리지느러미는 정확하게 측정되지 않았다. 수심에 따라서는 Line laser light의 센싱강도가 충분하고 CMOS 카메라의 화각을 만족하는 범위 내에서는 가시적으로 정확한 깊이 값을 나타내고 있다. 또한 수조의 탁도를 기준으로, 탁도가 낮을 때에는 line laser light의 센싱감도가 높아서 바닥면 (녹색으로 표시)까지 측정이 되지만, 탁도가 높으면 바닥면 가까이 있는 금붕어는 측정이 잘되고 있으나 바닥면은 측정이 되지 않는 것으로 확인된다. 금붕어의 크기는 실측치를 기준으로 3차원 계측과 비교하면 공기 중에 노출하였을 때는 가랑이 체장이 0.4 mm, 체고가 0.5 mm 짧게 나타났으며, 유영 중에는 가랑이 체장이 0.5 mm, 체고가 0.6 mm 길게 나타났다. 이와 같이 단일 대상에 대한 측정오차는 기계적 측정 오차보다 낮은 것으로 확인되었다.

    사 사

    본 연구는 국립수산과학원 수산시험연구사업(R201644)의 지원에 의해 수행되었으며, 본 논문을 사려 깊게 검토하여 주신 심사위원님들과 편집위원님께 감사드립니다.

    Figure

    536_F1.jpg

    3D measurement using CMOS Camera based – depth sensor.

    536_F2.jpg

    Triangulation determines depth by solving for the height or a side-length of a triangle.

    536_F3.jpg

    Position correction of measurement value between IR camera and sensing position.

    536_F4.jpg

    Relationship 10 parameters of orientation elements.

    536_F5.jpg

    Calibration processing by 11 sections.

    536_F6.jpg

    Experiment picture to understand size and shape of goldeye using 3-D pattern laser.

    536_F7.jpg

    Line laser pattern.

    536_F8.jpg

    3D cloud data of goldfish.

    536_F9.jpg

    Picture of Goldfish shoal in the water tank.

    536_F10.jpg

    Location data of goldfish’s individuals by depth.

    536_F11.jpg

    Measured data from goldfish’s individuals at the clean state (after 30 min.).

    536_F12.jpg

    Measured data of goldfish’s individuals according to turbidity (after 3 days).

    536_F13.jpg

    Average, maximum, and minimum of fork length and body width during swimming.

    536_F14.jpg

    Comparison real picture (a) and 3D measurement data in the air (b) and water (c) to identify fish species.

    536_F15.jpg

    Comparison of mean fork length and mean body height during real, in the air, and in the water of goldfish.

    Table

    Comparison of fork length and body height of goldfish during real, in the air, and in the water

    Reference

    1. An HC, Lee KH, Bae JH, Bae BS and Shin JK. 2009. Estimation of the distribution density of snow crab, Chionoecetes opilio using a deep-sea underwater camera system attached on a towing sledge, J Korean Soc Technol 45, 151-156. (DOI:10.3796/KSFT.2009.45.3.151)
    2. Costa C, Loy A, Cataudella S, Davis D and Scardi M. 2006. Extracting fish size using dual underwater cameras. Aquac ultural engineering 35, 218-227. (DOI:10.1016/j.aquaeng. 2006.02.003)
    3. Davis CS, Gallager SM and Solow AR. 1992. Microaggregations of oceanic plankton observed by towed video microscopy. Science 257, 230-232. (DOI:10.1126/science.257.5067.230)
    4. Doh DH, Cho KR and Cho YB. 2001. Development of an new 3D PTV using genetic algorithm, Proc, of 3rd Pacific Symp. on Flow Visualization and Image Processing, PSFV IP-3, Maui, Hawaii, Mar 18-21, 241-242.
    5. Doh DH, Kim DH, Cho KR, Cho YB, Saga T and Kobayashi T. 2002. Development of GA based 3D-PTV technique. Journal of Visualization 5, 243-254. (DOI:10.1007/bf03182332)
    6. Gudmundsson SA, Aanaes H and Larsen R. 2008. Fusion of stereo vision and Time-Of-Flight imaging for improved 3D estimation. International Journal of Intelligent Systems Technologies and Applications archive 5, 425-433. (DOI:10.1504/ijista.2008.021305)
    7. Harvey E, Cappo M, Shortis M, Robson S, Buchanan J and Speare P. 2003. The accuracy and precision of underwater measurements of length and maximum body depth of southern bluefin tuna (Thunnus maccoyii) with a stereo-v ideo camera system. Fish Res 63, 315-326. (DOI:10.1016/s0165-7836(03)00080-8)
    8. Okamoto K, Nishio S, Kobayashi T and Saga T. 1997. Standard images for particle image velocimetry. Proc. PIV’ 97-Fukui, 229-236. (DOI:10.1088/0957-0233/11/6/311)
    9. Park SW, Lee JW, Yang YS and Seo DO. 2004. A study on behaviour of giant Pacific Octopus, Parotopus dofleini to single line hook for hook design. J Korean Soc Technol 40, 1-8.
    10. Yang YS, Lee KY, Ji SC, Jeong SJ, Kim KM and Park SW. 2011. Measurement of size and swimming speed of Bluefin tuna (Thunnus thynnus) using by a stereo vision method. J Korean Soc Technol 47, 214-221. (DOI:10.3796/KSFT.2011.47.3.214)