자율주행의 눈: 센서

왜 여러 종류의 센서가 필요한가

17장의 ACC와 AEB는 앞차까지의 거리와 상대 속도만 알면 되었다. 자율주행은 훨씬 많은 것을 알아야 한다. 주변 물체가 어디에(거리와 방향) 있고, 얼마나 빨리 움직이며, 그것이 무엇인지(차, 보행자, 신호등의 색, 차선), 그리고 내 차가 어디에 있는지다. 한 가지 센서로 이 넷을 모든 날씨와 조도에서 재는 방법은 아직 없다.

이유는 물리에 있다. 센서는 결국 파동을 받아 그 세기, 도달 시간, 주파수 변화, 들어온 방향을 재는 장치다. 파장이 짧으면 작은 구경으로도 방향을 세밀하게 가를 수 있지만, 빗방울이나 안개 입자처럼 파장과 비슷하거나 더 큰 입자에 쉽게 산란된다. 파장이 길면 악천후를 잘 뚫지만 각 분해능이 떨어진다. 구경 \(D\)인 센서의 각 분해능 한계는 대략 \(\theta \approx \lambda / D\)다.

측정 방식도 갈린다. 수동 센서인 카메라는 햇빛이나 전조등이 물체에서 반사된 빛을 받기만 하므로 싸고 해상도가 높지만, 거리를 직접 재지 못하고 조명에 좌우된다. 능동 센서인 레이더·라이다·초음파는 스스로 파동을 쏘고 돌아오는 시간을 재므로 거리를 직접 얻고 밤낮을 가리지 않는다. 대신 송신 출력, 안구 안전, 간섭이라는 제약이 붙는다.

아래 3D 그림은 대표적인 센서 배치를 실제 축척으로 보여 준다. 초음파가 덮는 범위는 차 주변 몇 m뿐이고, 전방 레이더와 망원 카메라는 200 m 넘게 뻗는다. 옆 차로의 차를 뒤에서 앞으로 옮겨 가며 어떤 센서가 차례로 그 차를 넘겨받는지 확인해 보자.

시야가 겹치도록 배치하는 데에는 두 가지 이유가 있다. 한 센서가 놓친 것을 다른 센서가 잡는 보완, 그리고 같은 물체를 서로 다른 원리로 두 번 확인하는 이중화다. 이 둘을 실제로 묶는 방법인 센서 융합은 19장에서 다룬다.

카메라: 방향을 재는 센서

카메라는 렌즈로 빛을 모아 이미지 센서 위에 상을 맺는다. 기하학적으로는 작은 구멍 하나로 빛이 지나가는 핀홀 모델(pinhole model)로 충분히 설명된다. 카메라 좌표계에서 \((X, Y, Z)\)에 있는 점(\(Z\)가 광축 방향 거리)은 영상의 다음 픽셀에 찍힌다.

화각, 해상도, 그리고 픽셀 수

가로 픽셀 수가 \(W\)인 카메라의 수평 화각(Field of View, FOV)은 \(\mathrm{FOV} = 2\arctan(W/2f)\)다. 같은 센서에서 초점 거리를 늘리면 화각이 좁아지고 먼 물체가 크게 찍힌다. 높이 \(H\)인 물체가 거리 \(Z\)에서 차지하는 픽셀 높이는 위 식에서 바로 나온다.

검출 신경망이 물체를 안정적으로 알아보려면 일정한 픽셀 수가 필요하다. 그래서 "몇 m 앞의 보행자가 몇 픽셀인가"가 카메라 사양을 정하는 출발점이 된다. 넓은 화각과 먼 인식 거리는 같은 픽셀 수로는 동시에 얻을 수 없으므로, 전방에는 화각이 다른 카메라를 두세 대 함께 단다.

단안의 거리 모호성과 스테레오

투영식에서 \(X\)와 \(Z\)를 같은 배율로 키워도 \(u\)는 변하지 않는다. 가까운 작은 물체와 먼 큰 물체가 같은 상을 만든다는 뜻이다. 카메라 한 대(단안)는 방향만 재고 거리는 재지 못한다. 실제 시스템은 물체의 알려진 크기, 물체가 지면과 닿는 위치(지면이 평면이라는 가정), 시간에 따른 상의 변화, 학습된 깊이 추정을 써서 거리를 추정하지만 모두 가정에 기대는 간접 측정이다.

카메라 두 대를 간격 \(B\)(베이스라인)만큼 떨어뜨려 놓으면 가정 없이 거리를 잴 수 있다. 같은 점이 좌우 영상에서 찍히는 가로 위치의 차이인 시차(disparity) \(d\)가 거리에 반비례한다.

거리 오차가 \(Z^2\)에 비례한다는 점이 스테레오의 한계를 정한다. 거리가 두 배가 되면 오차는 네 배다. 베이스라인이나 초점 거리를 키우면 줄일 수 있지만 차폭과 화각이 한계를 정한다.

밝기의 범위, 깜빡이는 LED, 밤

도로 장면은 밝기 차이가 극단적이다. 터널 출구의 햇빛과 터널 안 그늘, 마주 오는 전조등과 그 옆의 어두운 보행자가 한 화면에 들어온다. 차량용 카메라에는 대표적으로 120 dB 이상(밝기 비 100만 대 1)의 다이내믹 레인지(High Dynamic Range, HDR)가 요구되고, 노출 시간이 다른 영상을 여러 장 합치거나 크기가 다른 광다이오드를 한 화소에 넣는 방식으로 이를 얻는다.

LED 신호등과 차량 등화는 눈에 보이지 않는 빠르기(대표적으로 약 90 Hz~수 kHz)로 켜졌다 꺼지는 PWM 방식으로 밝기를 조절한다. 밝은 낮에 노출 시간을 수백 µs로 짧게 잡으면 마침 꺼진 순간만 찍혀 신호등이 꺼진 것처럼 보이거나 프레임마다 깜빡일 수 있다. 이를 막는 화소 설계를 LED 플리커 저감(LED Flicker Mitigation, LFM)이라 한다. 밤에는 광자 수 자체가 부족해 잡음이 늘고, 전조등이 닿지 않는 곳은 보이지 않는다. 근적외선 감도를 높인 센서나 열화상 카메라가 보조 수단으로 쓰인다.

레이더: 거리와 속도를 한 번에

차량용 레이더는 76~81 GHz 대역(파장 약 3.9 mm)의 전파를 쓴다. 펄스를 쏘고 왕복 시간을 직접 재려면 1 m 분해능에 수 ns의 시간 정밀도와 높은 순간 출력이 필요하다. 그래서 차량용은 거의 모두 FMCW(Frequency-Modulated Continuous Wave, 주파수 변조 연속파) 방식을 쓴다. 시간 대신 주파수 차이를 재는 것이다.

송신 주파수를 시간에 따라 직선으로 올리는 신호를 처프(chirp)라 한다. 대역폭 \(B\)를 시간 \(T_c\) 동안 훑으면 기울기는 \(S = B/T_c\)다. 거리 \(R\)에서 반사되어 온 신호는 \(\tau = 2R/c\)만큼 늦게 도착하므로, 같은 순간의 송신 주파수보다 \(S\tau\)만큼 낮다. 송신과 수신을 섞으면(믹싱) 이 차이에 해당하는 낮은 주파수의 비트 신호가 남는다.

타깃이 여럿이면 비트 신호는 여러 주파수의 합이 되고, 푸리에 변환(FFT)을 하면 거리마다 봉우리가 하나씩 선다. 두 타깃의 거리 차가 \(c/2B\)보다 작으면 봉우리가 하나로 합쳐진다.

속도는 도플러 효과로 잰다. 상대 속도 \(v\)로 다가오는 타깃에서 돌아온 전파는 \(f_d = 2v/\lambda\)만큼 주파수가 높다. 처프 하나 안에서는 이 변화가 너무 작아서, 같은 처프를 수십~수백 번 연속으로 쏘고 처프 사이에 비트 신호의 위상이 얼마나 돌아가는지를 본다. 처프 간격마다 위상은 \(4\pi v T_c/\lambda\)씩 돈다. 처프 방향으로 FFT를 한 번 더 하면 거리–속도 2차원 지도가 나온다.

방향은 안테나 배열로

레이더 한 채널은 거리와 속도만 준다. 방향은 수신 안테나를 여러 개 나란히 놓고 각 안테나에 도달한 신호의 위상 차로 구한다. 간격 \(d\)인 두 안테나에 각도 \(\theta\)로 들어온 파는 경로 차 \(d\sin\theta\)만큼 늦게 닿는다.

안테나 \(N\)개를 반파장 간격으로 놓은 배열의 각 분해능은 대략 \(2/N\) rad이다. 8개면 약 14°, 1°를 얻으려면 100개가 넘게 필요하다. 송신 안테나 여러 개와 수신 안테나 여러 개를 조합해 그 곱만큼의 가상 배열을 만드는 MIMO 기법이 쓰인다(송신 3 × 수신 4 = 가상 12채널). 기존 레이더는 방위각만 쟀지만, 가상 채널을 수백~수천 개로 늘리고 세로 방향으로도 배열해 고도각까지 재는 4D 이미징 레이더가 등장했다. 방위각 분해능 약 1° 수준으로, 육교(지나갈 수 있음)와 정지한 차(지나갈 수 없음)를 구분하고 성긴 포인트 클라우드를 낸다.

라이다: 빛으로 재는 3D 형상

라이다(LiDAR, Light Detection and Ranging)는 레이저 펄스를 쏘고 반사광이 돌아오는 시간(Time of Flight, ToF)으로 거리를 잰다.

빛은 파장이 짧아 손톱만 한 렌즈로도 0.1° 이하의 가는 빔을 만들 수 있다. 빔의 방향을 가로·세로로 바꿔 가며 초당 수십만~수백만 번 거리를 재면, 각 측정이 3차원 공간의 점 하나가 된다. 이 점들의 집합이 포인트 클라우드다.

파장과 스캔 방식

파장은 주로 두 가지다. 905 nm는 값싼 실리콘 검출기를 쓸 수 있지만 망막에 초점이 맺히는 파장이어서 안구 안전 기준이 출력을 강하게 제한한다. 1550 nm는 각막과 수정체의 물에 흡수되어 망막에 닿지 않으므로 훨씬 높은 출력을 쓸 수 있어 먼 거리에 유리하지만, InGaAs 검출기와 광섬유 레이저가 비싸고 비와 젖은 표면에서 물에 더 많이 흡수된다.

• 기계식 회전. 세로로 쌓은 레이저·검출기 묶음(16~128채널)을 통째로 초당 10~20회 돌린다. 360°를 한 번에 본다. 초기 자율주행 시험차 지붕 위의 원통이 이것이다.
• MEMS·회전 미러. 레이저는 고정하고 작은 거울만 움직여 빔을 흔든다. 작고 싸서 양산차의 지붕 앞이나 그릴에 들어간다. 시야가 전방 약 120°로 제한된다.
• 플래시. 카메라 플래시처럼 장면 전체를 한 번에 비추고 2차원 검출기 배열로 받는다. 움직이는 부품이 없지만 빛이 넓게 퍼져 거리가 짧다. 근거리 사각지대용으로 쓴다.
• FMCW. 레이저의 주파수를 처프시키고 수신광을 송신광과 간섭시킨다. 점마다 거리와 시선 속도를 함께 얻고, 햇빛이나 다른 라이다의 간섭에 강하다. 광학계가 복잡하다.

각 분해능과 포인트 밀도

각 분해능이 \(\Delta\theta\)인 라이다에서 이웃한 두 빔은 거리 \(R\)에서 \(R\,\Delta\theta\)만큼 벌어진다. 폭 \(w\), 높이 \(H\)인 물체에 닿는 점의 수는 대략 다음과 같다.

돌아오는 빛의 양도 거리에 따라 줄어든다. 표면에서 사방으로 흩어진 빛 가운데 수신 렌즈에 들어오는 비율이 \(1/R^2\)로 줄기 때문이다. 받는 세기는 표면 반사율에 비례하므로, 라이다의 최대 거리는 "반사율 10 %에서 200 m"처럼 반사율과 함께 적는다. 흰 차는 멀리서도 보이고, 검은 차나 젖은 아스팔트는 훨씬 가까이 와야 보인다. 비와 안개 속에서는 빛이 물방울에 산란되어 왕복 경로에서 지수적으로 약해지고, 가까운 물방울에서 되돌아온 빛이 허상 점을 만든다.

초음파: 가장 가까운 몇 미터

범퍼에 박힌 동전 크기의 원형 센서가 초음파 센서다. 압전 소자가 대표적으로 40~58 kHz의 음파 묶음(버스트)을 내보내고, 같은 소자로 메아리를 듣는다. 원리는 라이다와 같은 ToF지만 파동이 빛이 아니라 소리다. 음속은 빛보다 약 백만 배 느리므로 시간 측정이 쉽고 회로가 아주 싸다.

느린 음속은 약점이기도 하다. 5 m를 왕복하는 데 약 29 ms가 걸려 갱신율이 낮고, 차가 빠르게 달리면 바람 소리에 묻힌다. 음속이 온도에 따라 변하므로 외기 온도로 보정해야 한다. 또 하나의 한계는 최소 감지 거리다. 소자는 송신을 멈춘 뒤에도 종처럼 한동안 울리는데(링잉), 이 잔향이 가라앉기 전에 돌아온 메아리는 구분할 수 없다. 그래서 대표적으로 15~25 cm 안쪽은 재지 못한다.

초음파 센서는 앞뒤 범퍼에 4~6개씩, 모두 8~12개가 달린다. 주차 보조(17장)에서 장애물 경고와 주차 공간 탐색에 쓰이고, 이웃 센서가 서로의 메아리를 듣는 방식으로 장애물의 가로 위치도 추정한다. 눈, 진흙, 얼음이 소자 표면에 붙으면 감도가 크게 떨어진다.

내 위치를 재는 센서: GNSS, IMU, 휠 속도

지금까지의 센서는 바깥을 본다. 차가 스스로 어디에 있고 어떻게 움직이는지를 재는 센서가 따로 필요하다.

GNSS: 위성까지의 거리로 위치를

GNSS(Global Navigation Satellite System)는 GPS, 갈릴레오, 글로나스, 베이더우를 아우르는 이름이다. 고도 약 2만 km의 위성들이 자기 위치와 송신 시각을 실어 전파를 내보낸다. 수신기는 도착 시각과 송신 시각의 차에 광속을 곱해 위성까지의 거리를 구한다. 그런데 수신기의 값싼 시계는 위성의 원자시계와 맞지 않는다. 1 µs만 틀려도 300 m다. 그래서 이 거리를 의사 거리(pseudorange)라 부르고, 수신기 시계 오차 자체를 네 번째 미지수로 함께 푼다.

오차의 원인은 여럿이다. 전리층과 대류권을 지나며 전파가 늦어지고, 위성 궤도와 시계 정보에 오차가 있으며, 도심에서는 건물에 반사된 신호가 직접 신호보다 늦게 들어오는 다중 경로가 수십 m의 오차를 만든다. 하늘이 트인 곳의 단독 측위는 대표적으로 수 m 수준이다. 차로 하나의 폭이 약 3.5 m이므로 어느 차로에 있는지 알기에는 부족하다.

RTK(Real-Time Kinematic)는 위치를 정확히 아는 기준국이 같은 위성을 관측해 구한 보정값을 받아 공통 오차를 상쇄하고, 코드 대신 반송파(파장 약 19 cm)의 위상을 세어 cm 수준의 정확도를 얻는다. 다만 위성이 가려지면 쓸 수 없다는 점은 그대로다.

IMU와 휠 속도: 적분은 드리프트를 부른다

관성 측정 장치(Inertial Measurement Unit, IMU)는 3축 가속도계와 3축 자이로(각속도계)로 이루어진다. 각속도를 적분하면 자세가, 가속도를 두 번 적분하면 위치가 나온다. 초당 100회 이상 값을 내고 외부 신호가 필요 없다. 문제는 적분이 작은 오차를 키운다는 것이다. 가속도계에 일정한 바이어스 \(b_a\)가 있으면 위치 오차는 \(\tfrac{1}{2} b_a t^2\)로 자란다.

휠 속도 센서(ABS용, 8장)로 바퀴 회전을 세어 이동 거리를 구하는 휠 오도메트리는 가속도를 두 번 적분하는 것보다 훨씬 안정적이어서, 보통 속도는 바퀴에서, 방향은 자이로에서 가져와 위치를 적분한다. 이를 추측 항법(dead reckoning)이라 한다. 그래도 타이어 반지름 오차, 미끄러짐, 자이로 바이어스 때문에 오차는 달린 거리에 따라 계속 쌓인다.

GNSS와 추측 항법은 오차의 성질이 정반대다. GNSS는 측정마다 수 m씩 튀지만 오래 써도 오차가 쌓이지 않는다. 추측 항법은 짧은 시간에는 매끄럽고 정확하지만 시간이 갈수록 흘러간다. 둘을 합치면 추측 항법으로 매끄럽게 예측하고 GNSS로 천천히 끌어당겨 드리프트를 지운다. 아래 시뮬레이터는 가장 단순한 융합인 상보 필터를 쓴다. 실제 차량은 19장에서 다루는 칼만 필터를 쓴다.

센서를 비교하고 조합하기

지금까지의 내용을 한 표에 모은다. 값은 양산 수준 센서의 대표적인 범위이고, 제품과 세대에 따라 크게 달라진다.

카메라 중심 접근과 라이다 포함 접근

업계는 센서 구성에서 크게 두 갈래로 나뉜다. 카메라 중심 접근은 사람이 눈만으로 운전한다는 점에서 출발한다. 카메라 8대 안팎을 차 둘레에 달고, 거리와 3D 구조는 대량의 주행 데이터로 학습한 신경망이 추정한다. 센서가 싸서 수백만 대에 달 수 있고, 그 차들이 다시 학습 데이터를 모은다. 약점은 거리가 추정값이라는 점과 역광·악천후·처음 보는 물체에서의 신뢰성이다. 레이더를 보조로 함께 쓰는 구성도 많다.

라이다 포함 접근은 카메라, 레이더, 라이다를 모두 달아 서로 다른 물리 원리로 같은 물체를 독립적으로 확인한다. 학습 데이터에 없던 물체라도 라이다는 "거기에 무언가 있다"는 사실을 형상으로 알려 준다. 운전자 없는 로보택시는 거의 모두 이 구성이다. 약점은 비용, 전력, 세정과 캘리브레이션의 복잡함이다. 라이다 가격이 내려가면서 양산 승용차의 고속도로 자동화 기능에도 전방 라이다 한 대를 더하는 구성이 늘고 있다. 어느 쪽이 옳은지는 목표로 하는 자동화 레벨(17장)과 안전을 어떻게 입증할 것인가(21장)에 달린 문제다.

배치, 캘리브레이션, 그리고 더러워진 렌즈

어디에 달 것인가

센서 위치는 성능과 디자인, 내구성 사이의 타협이다. 전방 카메라는 와이퍼가 닦아 주는 앞 유리 안쪽 위에 둔다. 높아서 멀리 보이고 오염에서 보호된다. 레이더는 전파가 플라스틱을 통과하므로 범퍼나 엠블럼 뒤에 숨긴다. 금속 성분이 든 도료나 두꺼운 얼음은 전파를 막는다. 라이다는 높을수록 가려짐이 적어 지붕 앞이 유리하지만 공기 저항(12장)과 외관에 불리하다. 지붕 위 센서는 차 바로 옆의 낮은 곳을 보지 못하므로 근거리는 초음파와 주변 카메라가 덮는다.

캘리브레이션: 센서들이 같은 세계를 보게 하기

카메라의 한 픽셀과 라이다의 한 점이 같은 물체라는 것을 알려면, 각 센서가 무엇을 어떻게 왜곡하는지, 그리고 차체 어디에 어느 방향으로 붙어 있는지를 정확히 알아야 한다.

• 내부 파라미터(intrinsic): 센서 자체의 성질이다. 카메라의 초점 거리 \(f\), 주점 \((c_x, c_y)\), 렌즈 왜곡 계수가 해당한다. 체커보드 같은 알려진 패턴을 여러 각도에서 찍어 구한다.
• 외부 파라미터(extrinsic): 센서 좌표계와 차량 좌표계 사이의 회전 \(R\)과 이동 \(t\)다. 센서에서 본 점 \(p_s\)는 차량 좌표계에서 \(p_v = R\,p_s + t\)가 된다.
• 시간 동기: 센서마다 측정 시각이 다르다. 모든 측정에 공통 시계의 시각을 붙이고, 필요하면 차의 움직임만큼 보정한다.

요구되는 정밀도는 꽤 높다. 카메라의 방향이 0.5° 틀리면 100 m 앞에서 \(100 \times \tan 0.5^\circ \approx 0.87\) m가 어긋나 옆 차로의 차를 내 차로로 착각할 수 있다. 공장에서 타깃을 세워 놓고 맞추지만, 온도 변화와 진동, 가벼운 접촉 사고로도 틀어지므로 주행 중에 차선이나 주변 구조물을 이용해 스스로 다시 맞추는 온라인 캘리브레이션이 필수다. 앞 유리나 범퍼를 교체한 뒤 정비소에서 ADAS 재보정을 하는 것도 같은 이유다.

오염과 세정

센서는 차에서 가장 더러워지기 쉬운 곳에 노출되어 있다. 진흙, 벌레, 염화칼슘, 성에, 빗방울 하나가 카메라 시야의 큰 부분을 가린다. 그래서 워셔액 분사 노즐, 압축 공기, 렌즈 히터, 발수 코팅이 센서와 한 묶음으로 설계된다. 그보다 중요한 것은 센서가 자신이 가려졌다는 사실을 아는 것이다. 영상의 선명도 저하, 레이더 수신 세기의 전반적 하락, 라이다 창에서의 강한 근거리 반사를 감시해 성능 저하를 판단하고, 기능을 제한하거나 운전자에게 넘긴다. 이처럼 고장이 아닌 성능 한계로 생기는 위험을 다루는 체계가 21장의 SOTIF다.