立创·梁山派开发板-21年电赛F题-送药小车-K210功能实现代码讲解

立创开发板

送药小车代码仓库：https://gitee.com/lcsc/medical_car更好的观看体验请去：https://lceda001.feishu.cn/wiki/ZDYbwqDfCiwVlckUEcScF0KSnRh
送药小车立创开源平台资料：https://oshwhub.com/li-chuang-kai-fa-ban/21-dian-sai-f-ti-zhi-neng-song-yao-xiao-che

K210功能实现代码讲解
具体实现代码如下(在2_Code->application->sensor->k210->pyconde->main.py)：

1. # Hello World Example
   
2. #
   
3. # Welcome to the CanMV IDE! Click on the green run arrow button below to run the script!
   
4. 
   
5. import sensor, image, time, lcd, struct, ustruct
   
6. import gc
   
7. 
   
8. from machine import UART,Timer,PWM
   
9. from board import board_info
   
10. from fpioa_manager import fm
    
11. import KPU as kpu
    
12. from Maix import GPIO,utils
    
13. import gc
    
14. import machine
    
15. 
    
16. lcd.init()                          # Init lcd display
    
17. lcd.clear(lcd.RED)                  # Clear lcd screen.
    
18. 
    
19. sensor.reset(freq=22000000, dual_buff=1)                # 设置摄像头频率 24M 开启双缓冲模式 会提高帧率 但内存占用增加
    
20. sensor.set_auto_exposure(0)         # 设置自动曝光
    
21. sensor.set_auto_gain(False) # 颜色跟踪必须关闭自动增益
    
22. sensor.set_auto_whitebal(False) # 颜色跟踪必须关闭白平衡
    
23. sensor.set_pixformat(sensor.RGB565) # Set pixel format to RGB565 (or GRAYSCALE)
    
24. sensor.set_framesize(sensor.QVGA)   # Set frame size to QVGA (320x240)
    
25. 
    
26. #kpu = KPU()
    
27. #kpu.load_kmodel("/sd/KPU/mnist/uint8_mnist_cnn_model.kmodel")
    
28. sensor.skip_frames(time = 2000)     # Wait for settings take effect.
    
29. clock = time.clock()                # Create a clock object to track the FPS.
    
30. sensor.set_auto_exposure(0)         # 设置自动曝光
    
31. 
    
32. sensor.set_vflip(1)
    
33. #______________________________________________________________________________________________________________________________
    
34. #打印内存分配情况
    
35. print(utils.gc_heap_size())
    
36. print("stack mem:"+str(gc.mem_free() / 1024)) # stack mem
    
37. print("heap mem:"+str(utils.heap_free() / 1024)) # heap mem
    
38. 
    
39. #第一次用执行一次下面这两个语句
    
40. #utils.gc_heap_size(800*1024)
    
41. #machine.reset()
    
42. 
    
43. #______________________________________________________________________________________________________________________________
    
44. #程序运行选择
    
45. is_need_debug = 0
    
46. is_patrol_line = 0
    
47. is_upacker_debug = 0
    
48. is_stack_heap_mem_debug = 0
    
49. is_upacker_recive_debug = 1
    
50. is_findflob_debug = 0
    
51. 
    
52. #______________________________________________________________________________________________________________________________
    
53. #程序运行状态
    
54. work_mode = 0  #0是巡线模式，1是数字识别模式
    
55. 
    
56. #______________________________________________________________________________________________________________________________
    
57. #串口配置区
    
58. 
    
59. fm.register(6, fm.fpioa.UART1_TX, force=True)
    
60. fm.register(7, fm.fpioa.UART1_RX, force=True)
    
61. 
    
62. k210_uart = UART(UART.UART1, 115200, 8, 0, 0, timeout=1000, read_buf_len=4096)
    
63. 
    
64. uart_test_write_str = '1260808878'
    
65. 
    
66. #______________________________________________________________________________________________________________________________
    
67. #按键蜂鸣器配置区
    
68. #注册IO，注意高速GPIO口才有中断
    
69. fm.register(35, fm.fpioa.GPIO0)
    
70. fm.register(16, fm.fpioa.GPIOHS0)
    
71. #构建案件对象
    
72. KEY=GPIO(GPIO.GPIOHS0, GPIO.IN, GPIO.PULL_UP)
    
73. 
    
74. #PWM通过定时器配置，接到IO15引脚
    
75. tim = Timer(Timer.TIMER1, Timer.CHANNEL0, mode=Timer.MODE_PWM)
    
76. beep = PWM(tim, freq=1000, duty=0, pin=9)
    
77. 
    
78. #按键标志位
    
79. key_node = 0
    
80. key_press_long = 0
    
81. 
    
82. #中断回调函数
    
83. def fun(KEY):
    
84.     global work_mode,key_node,key_press_long
    
85.     temp_count = 0
    
86. 
    
87.     time.sleep_ms(10) #消除抖动
    
88.     while KEY.value()== 0:
    
89.         key_node = 1
    
90.         time.sleep_ms(10) #长按延时
    
91.         #长按检测计数
    
92.         temp_count=temp_count+1
    
93.         print(temp_count)
    
94.     if temp_count >= 50:
    
95. 
    
96.         beep.duty(50)
    
97.         time.sleep_ms(500)
    
98.         beep.duty(0)
    
99.         time.sleep_ms(100)
    
100. 
     
101.         print(temp_count)
     
102.         key_node = 0
     
103.         key_press_long = 1
     
104. 
     
105. #开启中断，下降沿触发
     
106. KEY.irq(fun, GPIO.IRQ_FALLING)
     
107. 
     
108. #______________________________________________________________________________________________________________________________
     
109. #要传给梁山派的数据
     
110. 
     
111. #work_mode：0是巡线模式，1是数字识别模式
     
112. #recognition：0是未知（巡线状态下），1是药房门口区域（停车线）,十字路口和T字路口由
     
113. 
     
114. class uart_send_data_t:
     
115.    def __init__( self, work_mode=0, recognition=0,top_block_offset=0,center_block_offset=0,left_block_offset=0,right_block_offset=0,left_number = 0,right_number = 0):
     
116.       self.work_mode = work_mode
     
117.       self.recognition = recognition
     
118.       self.top_block_offset = top_block_offset
     
119.       self.center_block_offset = center_block_offset
     
120.       self.left_block_offset = left_block_offset
     
121.       self.right_block_offset = right_block_offset
     
122.       self.left_number = left_number
     
123.       self.right_number = right_number
     
124. 
     
125. 
     
126. global_uart_send_data = uart_send_data_t()
     
127. 
     
128. #______________________________________________________________________________________________________________________________
     
129. #感兴趣区配置
     
130. roi_area_width = 30
     
131. roi_area_color = (0, 0, 200)
     
132. roi_area_thickness = 2
     
133. 
     
134. 
     
135. left_roi = [50,40,roi_area_width,sensor.height()-40]
     
136. right_roi = [sensor.width()-roi_area_width-50,40,roi_area_width,sensor.height()-40]
     
137. top_roi = [0,10,sensor.width(),roi_area_width]
     
138. center_roi = [0,int(sensor.height()/2)-int(roi_area_width/2),sensor.width(),roi_area_width]
     
139. #bottom_roi = [0,sensor.height()- roi_area_width,sensor.width(),roi_area_width]
     
140. 
     
141. black_block_roi = [0,100,sensor.width(),100]
     
142. 
     
143. def draw_roi(img):
     
144.     img.draw_rectangle(left_roi, color = roi_area_color, thickness = roi_area_thickness, fill = False)
     
145.     img.draw_rectangle(right_roi, color = roi_area_color, thickness = roi_area_thickness, fill = False)
     
146.     img.draw_rectangle(top_roi, color = roi_area_color, thickness = roi_area_thickness, fill = False)
     
147.     img.draw_rectangle(center_roi, color = roi_area_color, thickness = roi_area_thickness, fill = False)
     
148.     img.draw_rectangle(black_block_roi, color = (0, 255, 0), thickness = roi_area_thickness, fill = False)
     
149.     return
     
150. 
     
151. #______________________________________________________________________________________________________________________________
     
152. #寻找色块区配置
     
153. red_threshold =[12, 68, 11, 63, 5, 81]
     
154. black_threshold =[0, 50, -24,-1, -18, 6]
     
155. 
     
156. class red_blob_location_t:
     
157.    def __init__( self, x=0, y=0,area = 0):
     
158.       self.x = x
     
159.       self.y = y
     
160.       self.area = area
     
161. 
     
162. 
     
163. #______________
     
164. #左部blob位置信息
     
165. left_blob_location = red_blob_location_t()
     
166. left_pixels_threshold = 20     #若一个色块的像素数小于 pixel_threshold ，则会被过滤掉。
     
167. left_area_threshold = 20       #若一个色块的边界框区域小于 area_threshold ，则会被过滤掉。
     
168. left_x_stride = 20               #是查找某色块时需要跳过的x像素的数量。找到色块后，直线填充算法将精确像素。 若已知色块较大，可增加 x_stride 来提高查找色块的速度。
     
169. left_y_stride = 20               #是查找某色块时需要跳过的y像素的数量。找到色块后，直线填充算法将精确像素。 若已知色块较大，可增加 y_stride 来提高查找色块的速度。
     
170. 
     
171. #______________
     
172. #右部blob位置信息
     
173. right_blob_location = red_blob_location_t()
     
174. right_pixels_threshold = 20     #若一个色块的像素数小于 pixel_threshold ，则会被过滤掉。
     
175. right_area_threshold = 20       #若一个色块的边界框区域小于 area_threshold ，则会被过滤掉。
     
176. right_x_stride = 20               #是查找某色块时需要跳过的x像素的数量。找到色块后，直线填充算法将精确像素。 若已知色块较大，可增加 x_stride 来提高查找色块的速度。
     
177. right_y_stride = 20               #是查找某色块时需要跳过的y像素的数量。找到色块后，直线填充算法将精确像素。 若已知色块较大，可增加 y_stride 来提高查找色块的速度。
     
178. 
     
179. #______________
     
180. #顶部blob位置信息
     
181. top_blob_location = red_blob_location_t()
     
182. top_pixels_threshold = 20     #若一个色块的像素数小于 pixel_threshold ，则会被过滤掉。
     
183. top_area_threshold = 20       #若一个色块的边界框区域小于 area_threshold ，则会被过滤掉。
     
184. top_x_stride = 15               #是查找某色块时需要跳过的x像素的数量。找到色块后，直线填充算法将精确像素。 若已知色块较大，可增加 x_stride 来提高查找色块的速度。
     
185. top_y_stride = 20               #是查找某色块时需要跳过的y像素的数量。找到色块后，直线填充算法将精确像素。 若已知色块较大，可增加 y_stride 来提高查找色块的速度。
     
186. 
     
187. #______________
     
188. #中部blob位置信息
     
189. center_blob_location = red_blob_location_t()
     
190. center_pixels_threshold = 20     #若一个色块的像素数小于 pixel_threshold ，则会被过滤掉。
     
191. center_area_threshold = 20       #若一个色块的边界框区域小于 area_threshold ，则会被过滤掉。
     
192. center_x_stride = 20               #是查找某色块时需要跳过的x像素的数量。找到色块后，直线填充算法将精确像素。 若已知色块较大，可增加 x_stride 来提高查找色块的速度。
     
193. center_y_stride = 20               #是查找某色块时需要跳过的y像素的数量。找到色块后，直线填充算法将精确像素。 若已知色块较大，可增加 y_stride 来提高查找色块的速度。
     
194. 
     
195. 
     
196. blob_location=[0,0]
     
197. 
     
198. def find_blob(img):
     
199. 
     
200.     global global_uart_send_data
     
201.     #top_blob_location.x = -1
     
202.     #top_blob_location.y = -1
     
203.     #center_blob_location.x = -1
     
204.     #center_blob_location.y = -1
     
205.     left_blob_location.x = -1
     
206.     left_blob_location.y = -1
     
207.     right_blob_location.x = -1
     
208.     right_blob_location.y = -1
     
209.     center_blob_location.area = 0
     
210.     for blob in img.find_blobs([red_threshold], roi = left_roi, x_stride = left_x_stride, y_stride = left_y_stride, pixels_threshold=left_pixels_threshold, area_threshold=left_area_threshold, merge=False, margin=10):
     
211.         img.draw_rectangle(blob.rect())
     
212.         img.draw_cross(blob.cx(), blob.cy())
     
213.         left_blob_location.x = blob.cx()
     
214.         left_blob_location.y = blob.cy()
     
215.         left_blob_location.area = blob.area()
     
216. 
     
217.     for blob in img.find_blobs([red_threshold], roi = right_roi,x_stride = right_x_stride, y_stride = right_y_stride, pixels_threshold=right_pixels_threshold, area_threshold=right_area_threshold, merge=True, margin=10):
     
218.         img.draw_rectangle(blob.rect())
     
219.         img.draw_cross(blob.cx(), blob.cy())
     
220.         right_blob_location.x = blob.cx()
     
221.         right_blob_location.y = blob.cy()
     
222.         right_blob_location.area = blob.area()
     
223. 
     
224.     for blob in img.find_blobs([red_threshold], roi = top_roi,x_stride = top_x_stride, y_stride = top_y_stride, pixels_threshold=top_pixels_threshold, area_threshold=top_area_threshold, merge=True, margin=10):
     
225.         img.draw_rectangle(blob.rect())
     
226.         img.draw_cross(blob.cx(), blob.cy())
     
227.         #print("-------"+str(blob.area()))
     
228.         top_blob_location.x = blob.cx()
     
229.         top_blob_location.y = blob.cy()
     
230.         top_blob_location.area = blob.area()
     
231. 
     
232.     for blob in img.find_blobs([red_threshold], roi = center_roi,x_stride = center_x_stride, y_stride = center_y_stride, pixels_threshold=center_pixels_threshold, area_threshold=center_area_threshold, merge=True, margin=10):
     
233.         img.draw_rectangle(blob.rect())
     
234.         img.draw_cross(blob.cx(), blob.cy())
     
235.         center_blob_location.x = blob.cx()
     
236.         center_blob_location.y = blob.cy()
     
237.         center_blob_location.area = blob.area()
     
238.         #print(blob.pixels())
     
239. 
     
240. 
     
241.     #for blob in img.find_blobs([black_threshold], roi = black_block_roi, pixels_threshold=30,merge=True,margin=50):
     
242.         #img.draw_rectangle(blob.rect())
     
243.         #img.draw_cross(blob.cx(), blob.cy())
     
244.         ##print(blob.count())
     
245.         #if(blob.count() >= 5):
     
246.             #print("tinche"+str(blob.count()))
     
247.             #global_uart_send_data.recognition = 1
     
248.         #else:
     
249.             #global_uart_send_data.recognition = 0
     
250. 
     
251.     if(center_blob_location.area == 0):
     
252.         print("tinche")
     
253.         global_uart_send_data.recognition = 1
     
254.     else:
     
255.         global_uart_send_data.recognition = 0
     
256. 
     
257.     return
     
258. 
     
259. #______________________________________________________________________________________________________________________________
     
260. #色块连线区配置
     
261. lines_color = (0, 200, 0)
     
262. lines_thickness = 1
     
263. 
     
264. def draw_lines(img):
     
265.     img.draw_line(top_blob_location.x, top_blob_location.y, center_blob_location.x, center_blob_location.y, color = lines_color, thickness = lines_thickness)
     
266.     img.draw_line(left_blob_location.x, left_blob_location.y, right_blob_location.x, right_blob_location.y, color = lines_color, thickness = lines_thickness)
     
267.     return
     
268. 
     
269. 
     
270. #______________________________________________________________________________________________________________________________
     
271. #upacker python实现代码 ：https://github.com/aeo123/upacker/blob/master/python/upacker.py
     
272. #介绍请看这里：https://github.com/aeo123/upacker
     
273. 
     
274. class Upacker():
     
275.     def __init__(self):
     
276.         self._STX_L = 0x55
     
277.         self._MAX_PACK_SIZE = 1024 + 4 + 128
     
278.         self._calc = 0
     
279.         self._check = 0
     
280.         self._cnt = 0
     
281.         self._flen = 0
     
282.         self._state = 0
     
283.         self._data = bytearray()
     
284. 
     
285.     def _decode(self, d):
     
286.         if (self._state == 0 and d == self._STX_L):
     
287.             self._state = 1
     
288.             self._calc = self._STX_L
     
289.         elif self._state == 1:
     
290.             self._flen = d & 0xff
     
291.             self._calc ^= d & 0xff
     
292.             self._state = 2
     
293.         elif self._state == 2:
     
294.             self._flen |= (d & 0xff) << 8
     
295.             self._calc ^= d & 0x3F
     
296.             # 数据包超长得情况下直接丢包
     
297.             if ((self._flen & 0x3FFF) > self._MAX_PACK_SIZE):
     
298.                 self._state = 0
     
299.                 return -1
     
300.             else:
     
301.                 self._data = bytearray(self._flen & 0x3FFF)
     
302.             self._state = 3
     
303.             self._cnt = 0
     
304.         elif self._state == 3:
     
305.             header_crc = ((d & 0x03) << 4) | ((self._flen & 0xC000) >> 12)
     
306.             self._check = d
     
307.             if (header_crc != (self._calc & 0X3C)):
     
308.                 self._state = 0
     
309.                 return -1
     
310.             self._state = 4
     
311.             self._flen &= 0x3FFF
     
312.         elif self._state == 4:
     
313.             self._data[self._cnt] = d
     
314.             self._cnt += 1
     
315.             self._calc ^= d
     
316.             if self._cnt == self._flen:
     
317.                 self._state = 0
     
318.                 #接收完，检查check
     
319.                 if ((self._calc & 0xFC) == (self._check & 0XFC)):
     
320.                     return 0
     
321.                 else:
     
322.                     return -1
     
323.         else:
     
324.             self._state = 0
     
325. 
     
326.         return 1
     
327. 
     
328.     # 解包
     
329.     def unpack(self, bytes_data, callback):
     
330.         ret = 0
     
331.         for i in bytes_data:
     
332.             ret = self._decode(i)
     
333.             if ret == 0:
     
334.                 callback(self._data)
     
335.                 if(is_upacker_debug):
     
336.                     print(self._data)
     
337.             elif ret == -1:
     
338.                 # callback(None)
     
339.                 print("err")
     
340. 
     
341.     # 打包
     
342.     def enpack(self, data):
     
343.         tmp = bytearray(4)
     
344.         tmp[0] = 0x55
     
345.         tmp[1] = len(data) & 0xff
     
346.         tmp[2] = (len(data) >> 8) & 0xff
     
347.         crc = tmp[0] ^ tmp[1] ^ tmp[2]
     
348.         tmp[2] |= (crc & 0x0c) << 4
     
349.         tmp[3] = 0x03 & (crc >> 4)
     
350. 
     
351.         for i in range(len(data)):
     
352.             crc ^= data[i]
     
353.         tmp[3] |= (crc & 0xfc)
     
354. 
     
355.         frame = struct.pack("BBBB%ds" % len(data), tmp[0], tmp[1], tmp[2],
     
356.                             tmp[3], data)
     
357.         #python3.5之前bytes数据没有hex()属性，所以修改了下面这个
     
358.         #print(frame.hex())
     
359.         if(is_upacker_debug):
     
360.             print(''.join(map(lambda x:('' if len(hex(x))>=4 else '/x0')+hex(x)[2:],frame)))
     
361. 
     
362.         return frame
     
363. 
     
364. #____________
     
365. #串口命令切换模式
     
366. uart_cmd_need_change_mode = 0
     
367. 
     
368. def print_hex(bytes):
     
369.     global work_mode,uart_cmd_need_change_mode
     
370. 
     
371.     hex_byte = [hex(i) for i in bytes]
     
372.     if is_upacker_recive_debug:
     
373.         print("-----"+" ".join(hex_byte))
     
374.     if bytes[0] == 0x00:
     
375.         work_mode = 0
     
376.     if bytes[0] == 0x01:
     
377.         work_mode = 1
     
378.     uart_cmd_need_change_mode = 1
     
379. 
     
380. #if __name__ == '__main__':
     
381.     #buf = bytearray([0x00, 0x01, 0x02,0x03,0x77])
     
382.     #pack = Upacker()
     
383.     #pkt = pack.enpack(buf)
     
384.     #pack.unpack(pkt, print_hex)
     
385. 
     
386. #______________________________________________________________________________________________________________________________
     
387. #upacker python实现代码结束
     
388. 
     
389. 
     
390. 
     
391. def upacker_init():
     
392.     pack = Upacker()
     
393. 
     
394.     return pack
     
395. 
     
396. yzh = 10
     
397. 
     
398. #______________________________________________________________________________________________________________________________
     
399. #发送数据到MCU，gd32是小端字节序
     
400. #pack各字母对应类型
     
401. #x   pad byte        no value            1
     
402. #c   char            string of length 1  1
     
403. #b   signed char     integer             1
     
404. #B   unsigned char   integer             1
     
405. #?   _Bool           bool                1
     
406. #h   short           integer             2
     
407. #H   unsigned short  integer             2
     
408. #i   int             integer             4
     
409. #I   unsigned int    integer or long     4
     
410. #l   long            integer             4
     
411. #L   unsigned long   long                4
     
412. #q   long long       long                8
     
413. #Q   unsilong long   long                8
     
414. #f   float           float               4
     
415. #d   double          float               8
     
416. #s   char[]          string              1
     
417. #p   char[]          string              1
     
418. #P   void *          long
     
419. 
     
420. def send_data_to_mcu(pack,global_uart_send_data):
     
421.     hex_data = ustruct.pack("<bbhhhhbb",                        #小端字节序
     
422.                    global_uart_send_data.work_mode,
     
423.                    global_uart_send_data.recognition,
     
424.                    global_uart_send_data.top_block_offset,          #以屏幕中线为0点
     
425.                    global_uart_send_data.center_block_offset,
     
426.                    global_uart_send_data.left_block_offset,          #以屏幕中线为0点
     
427.                    global_uart_send_data.right_block_offset,
     
428.                    global_uart_send_data.left_number,
     
429.                    global_uart_send_data.right_number,)
     
430.     pkg_data =  pack.enpack(hex_data)
     
431.     k210_uart.write(pkg_data)
     
432. 
     
433. #______________________________________________________________________________________________________________________________
     
434. #pack解包后的回调函数
     
435. #def data_callback(bytes):
     
436.     #hex_byte = [hex(i) for i in bytes]
     
437.     #print(" ".join(hex_byte))
     
438. 
     
439. #______________________________________________________________________________________________________________________________
     
440. #定时发送串口数据的定时器
     
441. #构造函数
     
442. # 定时器回调
     
443. pack = upacker_init()
     
444. 
     
445. def on_timer(timer):
     
446.     global work_mode
     
447. 
     
448.     global_uart_send_data.work_mode = work_mode
     
449.     if(top_blob_location.x != -1):
     
450.         global_uart_send_data.top_block_offset = top_blob_location.x-int(sensor.width()/2)
     
451.     else:
     
452.         global_uart_send_data.top_block_offset = 0
     
453. 
     
454.     if(center_blob_location.x != -1):
     
455.         global_uart_send_data.center_block_offset = center_blob_location.x-int(sensor.width()/2)
     
456.     else:
     
457.         global_uart_send_data.center_block_offset = 0
     
458. 
     
459.     if(left_blob_location.y != -1):
     
460.         global_uart_send_data.left_block_offset = left_blob_location.y-int(sensor.height()/2)
     
461.     else:
     
462.         global_uart_send_data.left_block_offset = 0
     
463. 
     
464.     if(right_blob_location.y != -1):
     
465.         global_uart_send_data.right_block_offset = right_blob_location.y-int(sensor.height()/2)
     
466.     else:
     
467.         global_uart_send_data.right_block_offset = 0
     
468. 
     
469. 
     
470. 
     
471.     global_uart_send_data.top_block_offset = top_blob_location.x-int(sensor.width()/2)
     
472.     global_uart_send_data.center_block_offset = center_blob_location.x-int(sensor.width()/2)
     
473. 
     
474. 
     
475.     send_data_to_mcu(pack,global_uart_send_data)
     
476. 
     
477. # 配置定时器0通道0
     
478. tim = Timer(Timer.TIMER0, Timer.CHANNEL0, mode=Timer.MODE_PERIODIC, period=20, unit=Timer.UNIT_MS, callback=on_timer, arg=on_timer, start=False, priority=1, div=0)
     
479. #定时发送串口数据
     
480. tim.start()
     
481. 
     
482. 
     
483. #______________________________________________________________________________________________________________________________
     
484. #数字识别配置区域
     
485. anchors = [1.40625, 1.875, 1.09375, 1.1875, 1.25, 1.46875, 1.53125, 2.15625, 1.1875, 1.8125000000000002]
     
486. labels = ["1", "2", "3", "4", "5", "6", "7", "8"]
     
487. 
     
488. actual_number = [1,2,3,4,5,6,7,8]
     
489. 
     
490. 
     
491. KPU = kpu.load("/sd/mx.kmodel")
     
492. xy = [0,0]
     
493. kpu.init_yolo2(KPU,0.7,0.01,len(anchors)//2,anchors)
     
494. 
     
495. #______________________________________________________________________________________________________________________________
     
496. #主循环
     
497. while (True):
     
498.     gc.collect()
     
499.     img = sensor.snapshot()  # Take a picture and return the image.
     
500.     # img.draw_cross(sensor.width()//2, sensor.height()//2, color = (0, 255, 0), size = 10, thickness = 2)
     
501.     clock.tick()
     
502.     #手动切换
     
503.     if key_press_long ==1:
     
504.         key_press_long = 0
     
505.         #长按后切换K210工作模式
     
506.         if work_mode == 0:
     
507.             work_mode =1
     
508.             print("work mode to 1")
     
509.             sensor.set_windowing((224, 224))
     
510.         else:
     
511.             work_mode =0
     
512.             print("work mode to 0")
     
513.             img = img.resize(320, 240)
     
514.             sensor.set_windowing((320, 240))
     
515.     #GD32控制切换
     
516.     if uart_cmd_need_change_mode == 1:
     
517.         uart_cmd_need_change_mode = 0
     
518.         #串口命令来切换K210工作模式
     
519.         if work_mode == 1:
     
520.             print("work mode to 1")
     
521.             sensor.set_windowing((224, 224))
     
522.         else:
     
523.             print("work mode to 0")
     
524.             img = img.resize(320, 240)
     
525.             sensor.set_windowing((320, 240))
     
526. 
     
527.     if work_mode == 0:  # 巡线模式
     
528.         find_blob(img)
     
529.         draw_roi(img)
     
530.         draw_lines(img)
     
531.         if is_findflob_debug:
     
532.             print(clock.fps(), top_blob_location.x,center_blob_location.x, left_blob_location.y, right_blob_location.y)  # Note: CanMV Cam runs about half as fast when connected,int(top.x),int(top.y)
     
533.             print(clock.fps(), global_uart_send_data.top_block_offset,global_uart_send_data.center_block_offset, global_uart_send_data.left_block_offset, global_uart_send_data.right_block_offset)
     
534.             print(global_uart_send_data.recognition)
     
535.         fps = clock.fps()  # Update the FPS clock.
     
536.         img.draw_string(2, 2, ("%2.1ffps" % (fps)), color=(0, 128, 0), scale=2)
     
537.         lcd.display(img)
     
538. 
     
539.     else:  # 数字识别模式
     
540. 
     
541.         img = sensor.snapshot()  # Take a picture and return the image.
     
542.         code = kpu.run_yolo2(KPU, img)
     
543.         fps = clock.fps()  # Update the FPS clock.
     
544.         img.draw_string(2, 2, ("%2.1ffps" % (fps)), color=(0, 128, 0), scale=2)
     
545.         #print(clock.fps())
     
546.         if bool(code):
     
547.             for i in code:
     
548.                 img = img.draw_rectangle(i.rect(), (0, 255, 0), 2, 0)
     
549.                 xy[0] = i.x()
     
550.                 xy[1] = (i.y() - 20)
     
551.                 img = img.draw_string(xy[0], xy[1], (labels[i.classid()]), (0, 255, 0), scale=2)
     
552.                 img = img.draw_string(xy[0], xy[1] + 24, '%.3f' % i.value(), color=(255, 0, 0), scale=2)
     
553.             if(code[0].x()<code[-1].x()):
     
554.                 global_uart_send_data.left_number = actual_number[code[0].classid()]
     
555.                 global_uart_send_data.right_number = actual_number[(code[-1].classid())]
     
556.             else:
     
557.                 global_uart_send_data.left_number = actual_number[(code[-1].classid())]
     
558.                 global_uart_send_data.right_number = actual_number[(code[0].classid())]
     
559.             #print(global_uart_send_data.left_number,global_uart_send_data.right_number)
     
560.         lcd.display(img)
     
561.     read_data = k210_uart.read()
     
562.     if read_data:
     
563.         read_str = pack.unpack(read_data, print_hex)
     
564.     lcd.display(img)  # Display image on lcd.
     
565.     if is_stack_heap_mem_debug:
     
566.         print("stack mem:"+str(gc.mem_free() / 1024)) # stack mem
     
567.         print("heap mem:"+str(utils.heap_free() / 1024)) # heap mem

复制代码

关键的注释都添加了，可以帮助理解代码，这段代码同时实现了寻红线和数字识别，但是还做不到同时运行，在寻红线的时候没法数字识别，这两个状态之间的切换可以通过长按K210上的用户按键或者由立创梁山派来控制切换。当送药小车到达数字识别处时就控制K210进入数字识别模式，识别到数字后再控制K210进入寻红线模式。

• 首先初始化LCD屏幕、配置摄像头、配置UART通信，并配置一个具有中断的按钮。然后，定义了感兴趣区域（ROIs）和一些用于在图像中查找色块的参数（具体可以去MaixPy的API文档中查找）。
• 设置了在图像中检测色块和在里面绘制连线的参数。共定义了四个感兴趣区域（ROI）：左侧、右侧、顶部和中心。每个ROI都有自己的色块检测参数，如pixel_threshold、area_threshold、x_stride和y_stride。这些参数用于过滤掉过小的色块或者通过跳过一些像素来提高检测速度，避免一些微小噪声小色块的影响。
• find_blob函数处理输入图像（img），使用img.find_blobs方法在每个ROI中检测红色的色块。然后在色块周围绘制矩形并在其中心绘制十字标记来方便调试。检测到的色块的位置和面积信息存储在left_blob_location、right_blob_location、top_blob_location和center_blob_location结构中。如果在中心ROI中没有检测到色块，则将global_uart_send_data.recognition变量设置为1，否则设置为0，当红色线没了的时候就代表该停车了。draw_lines函数用于在上下和左右ROI的红色块之间绘制连线（上下左右ROI都识别到红色块就是一个交叉的十字），方便调试使用。
• 定义了一个名为send_data_to_mcu的函数，用于将数据发送到立创梁山派。这里使用了ustruct.pack函数将数据打包为字节序列，然后调用pack.enpack方法将数据打包，最后通过k210_uart.write将数据发送出去。
• 定义了一个名为on_timer的定时回调函数，用于定时发送串口数据。在这个函数中，根据图像中的各个位置计算出相应的偏移量，并将这些偏移量存储在global_uart_send_data对象中。然后，调用send_data_to_mcu函数将数据发送到立创梁山派的串口里面。然后，配置定时器0通道0，设置定时器的模式、周期、单位、回调函数等参数，并启动定时器。
• 进行数字识别的相关配置，用init_yolo2加载模型并初始化KPU。
• 在主循环中，根据工作模式选择执行巡线模式还是数字识别模式。在巡线模式下，调用find_blob、draw_roi、draw_lines等函数来处理摄像头采集到图像，并将处理后的图像显示在LCD上方便调试。在数字识别模式下，使用KPU运行模型并获取识别结果，将识别到的数字绘制在图像上，并将处理后的图像显示在LCD上。最后，程序会读取来自立创梁山篇串口发送来的数据，并使用pack.unpack方法解包数据。如果有数据，会执行解包，解包成功后会更新K210模式控制的标志位（巡线模式还是数字识别模式）。