인지와 측위

인지가 답해야 하는 질문

18장에서 본 센서들은 세상을 재기만 한다. 카메라는 밝기를, 라이다는 거리를, 레이더는 거리와 상대 속도를 잰다. 다음 단계인 계획(20장)이 필요로 하는 것은 측정값이 아니라 장면에 대한 서술이다. 그 사이를 잇는 인지(perception)와 측위(localization)는 네 가지 질문에 답한다.

• 무엇이 있는가. 승용차, 트럭, 보행자, 자전거, 신호등, 차선, 연석. 종류에 따라 앞으로 할 수 있는 행동이 다르므로 분류가 필요하다.
• 어디에 있는가. 내 차 기준으로 몇 m 앞, 몇 m 옆에, 어느 방향을 향해, 어떤 크기로 있는가.
• 어떻게 움직이는가. 속도와 진행 방향. 한 프레임만으로는 알 수 없고 시간에 걸쳐 같은 물체를 따라가야 한다.
• 나는 어디에 있는가. 어느 도로의 몇 번째 차로에, 차로 중앙에서 몇 cm 벗어나 있는가.

이 장 전체를 꿰는 생각은 하나다. 인지의 출력은 사실이 아니라 추정이다. "42.3 m 앞에 차가 있다"가 아니라 "약 42 m 앞에, 표준편차 0.5 m 정도의 오차로, 92 % 확률로 차인 물체가 있다"가 올바른 출력이다. 뒤에 나오는 신뢰도, 공분산, 로그 오즈, 입자 분포는 모두 이 불확실성을 숫자로 적는 서로 다른 방법이다.

카메라 인지: 합성곱에서 객체 검출까지

영상은 숫자로 채운 격자다. 격자 한 칸의 숫자는 그 자체로는 아무 뜻이 없고, 이웃한 칸과의 관계에서 뜻이 생긴다. 밝기가 갑자기 바뀌는 곳이 경계선이고, 경계선이 모여 윤곽이 되고, 윤곽이 모여 바퀴나 사람의 다리가 된다. 이 "이웃과의 관계"를 계산하는 가장 기본 연산이 합성곱(convolution)이다.

작은 숫자판(커널, 보통 3×3)을 영상 위에 올려놓고, 겹친 칸끼리 곱해 모두 더한 값을 출력의 한 칸에 적는다. 커널을 한 칸씩 옮기며 이것을 전체 영상에 반복한다.

커널의 숫자가 무엇을 찾을지 정한다. 왼쪽 열이 음수, 오른쪽 열이 양수인 커널은 왼쪽이 어둡고 오른쪽이 밝은 곳, 곧 세로 경계에서 큰 값을 낸다. 밝기가 고른 곳에서는 양수와 음수가 상쇄되어 0이 된다. 모든 칸이 1/9인 커널은 주변 평균을 내므로 영상이 흐려진다.

커널을 사람이 정하지 않는다: CNN

소벨 커널은 사람이 설계한 것이다. 합성곱 신경망(Convolutional Neural Network, CNN)은 커널의 숫자를 사람이 정하지 않고, 정답이 달린 영상 수백만 장으로부터 학습한다. 한 층에 커널을 수십~수백 개 두어 그만큼의 특징 맵을 만들고, 음수를 0으로 자르는 비선형 함수(ReLU)를 거친 뒤, 그 결과에 다시 합성곱을 적용한다. 중간중간 해상도를 절반으로 줄인다.

층이 깊어질수록 한 칸이 바라보는 원본 영상의 범위(수용 영역)가 넓어진다. 그래서 앞쪽 층은 경계와 색 변화 같은 국소 특징에, 뒤쪽 층은 바퀴, 창문, 사람의 상체처럼 넓은 범위를 봐야 알 수 있는 특징에 반응한다. 같은 커널을 영상 전체에 미끄러뜨리므로 차가 화면 어디에 있어도 같은 방식으로 찾아낸다.

객체 검출: 박스, 클래스, 신뢰도

객체 검출(object detection)의 출력은 물체마다 세 가지다. 물체를 둘러싼 직사각형인 바운딩 박스, 종류(클래스), 그리고 그 판단을 얼마나 믿는지를 나타내는 0~1 사이의 신뢰도(confidence score)다. 검출이 맞았는지 따지려면 예측 박스가 정답 박스와 얼마나 겹치는지를 재야 한다. 이 척도가 IoU(Intersection over Union)다.

검출기는 한 물체에 대해 조금씩 다른 박스를 여러 개 내놓는 경우가 많다. 특징 맵의 이웃한 위치들이 모두 같은 차를 보고 반응하기 때문이다. 이를 정리하는 후처리가 비최대 억제(Non-Maximum Suppression, NMS)다. 신뢰도가 가장 높은 박스를 채택하고, 그 박스와 IoU가 임계값을 넘는 나머지를 같은 물체로 보아 지운다. 남은 박스 가운데 다시 최고 신뢰도를 골라 같은 일을 반복한다.

NMS 임계값은 혼잡한 장면에서 특히 까다롭다. 나란히 선 보행자나 앞뒤로 겹쳐 보이는 차들은 실제로 다른 물체인데도 박스가 많이 겹친다. 그래서 최근 검출기 가운데에는 물체 하나에 예측 하나만 나오도록 학습해 NMS 자체를 없앤 구조도 많다.

화소마다 답하기: 분할과 차선

박스는 차나 사람처럼 덩어리로 셀 수 있는 물체에는 잘 맞지만, 도로 면, 인도, 차선처럼 모양이 정해지지 않은 것은 담지 못한다. 의미 분할(semantic segmentation)은 모든 화소에 클래스를 하나씩 붙인다. 출력은 입력과 같은 크기의 라벨 지도이고, "주행 가능한 영역이 어디까지인가"를 직접 알려 준다. 같은 클래스 안에서 개체까지 구분하면 인스턴스 분할이라 한다.

차선 검출은 분할의 특수한 경우로 볼 수 있다. 다만 계획 단계가 필요로 하는 것은 화소 덩어리가 아니라 곡선이므로, 차선 화소를 찾은 뒤 3차 다항식 같은 곡선에 맞추거나 처음부터 곡선의 계수나 점열을 출력하도록 학습한다. 17장의 차로 유지 보조가 쓰는 입력이 바로 이 곡선이다. 차선은 닳았거나, 빗물에 반사되거나, 공사 구간에서 이전 선과 겹쳐 보일 때 어려워진다.

얼마나 잘 보는가: 정밀도와 재현율

검출기의 출력을 정답과 비교하면 세 가지 경우가 나온다. 실제 물체를 맞게 찾은 것은 참 양성(TP), 없는 것을 있다고 한 것은 거짓 양성(FP, 오검출), 있는 것을 놓친 것은 거짓 음성(FN, 미검출)이다. 이 셋으로 두 지표를 만든다.

둘은 서로 당긴다. 신뢰도 임계값을 낮추면 애매한 후보까지 검출로 인정하므로 놓치는 물체가 줄어 재현율이 오르지만, 오검출도 함께 늘어 정밀도가 떨어진다. 임계값을 0에서 1까지 움직이며 두 값을 찍으면 정밀도–재현율(PR) 곡선이 되고, 그 아래 넓이가 평균 정밀도(Average Precision, AP)다. 클래스별 AP를 평균한 값이 mAP이며, 검출기 성능을 한 숫자로 비교할 때 가장 널리 쓴다. IoU 합격 기준을 0.5 하나로 두기도 하고 0.5부터 0.95까지 여러 기준의 평균을 쓰기도 한다. 주행용 3D 데이터셋에서는 IoU 대신 위에서 본 중심 거리로 합격을 정하는 경우도 있다.

놓침과 오검출은 값이 다르다

mAP는 FN과 FP를 대등하게 다루지만 도로에서는 그렇지 않다. 진행 경로 위의 보행자를 놓치면 충돌이고, 없는 보행자를 있다고 하면 불필요한 급제동이다. 앞의 것이 훨씬 무겁다. 그렇다고 오검출이 공짜는 아니다. 고속도로에서 이유 없는 급제동은 후방 추돌을 부르고, 잦은 헛제동은 운전자가 기능을 꺼 버리게 만든다. 17장의 AEB가 경고, 부분 제동, 완전 제동을 단계적으로 쓰는 것은 확신이 낮을 때 값싼 행동부터 하기 위해서다.

평균 지표가 가리는 것도 있다. 차 바로 앞 10 m의 보행자와 150 m 밖 반대 차로의 차는 중요도가 다르다. 그래서 실제 개발에서는 거리 구간별, 클래스별, 날씨별로 재현율을 따로 보고, 내 차 경로에 가까운 물체에 가중을 둔다.

3차원으로: 포인트 클라우드, BEV, 점유 격자

영상 속 박스는 화면 좌표일 뿐이다. 차를 몰려면 물체가 도로 위 어디에 있는지, 곧 3차원 위치와 크기, 방향이 필요하다. 라이다는 거리를 직접 재므로 출발점이 유리하다. 고전적인 처리 순서는 세 단계다.

1. 지면 제거. 포인트의 절반 가까이는 도로 면에서 온다. 평면을 맞추거나 인접 광선 사이의 높이 변화를 따져 지면 점을 떼어 낸다.
2. 클러스터링. 남은 점 가운데 서로 가까운 것끼리 묶는다. 어느 점에서 일정 거리 안에 있는 점을 같은 무리에 넣고, 새로 들어온 점에서 다시 같은 일을 반복한다.
3. 박스 맞춤과 분류. 무리마다 직육면체를 맞춘다. 차는 보이는 두 면이 L자를 이루므로 L자에 맞는 방향을 찾는다. 크기와 점 분포로 종류를 가린다.

클러스터링의 유일한 매개변수는 거리 임계값인데, 한 값으로 모든 경우를 만족시킬 수 없다. 라이다의 점 간격은 거리에 비례해 벌어진다. 각 분해능 0.2°면 50 m에서 이웃 점 사이가 약 17 cm, 100 m에서 35 cm다. 임계값이 작으면 먼 차 한 대가 여러 조각으로 쪼개지고, 크면 가까이 선 두 사람이 한 물체로 합쳐진다.

지금의 주류는 이 단계들을 신경망 하나로 대신한다. 공간을 작은 기둥이나 정육면체(복셀)로 나누어 그 안의 점을 요약하고, 위에서 내려다본 격자에 2D CNN을 적용해 3D 박스를 직접 출력한다. 그래도 규칙 기반 클러스터링은 버려지지 않았다. 학습 데이터에 없던 낯선 물체도 "점이 모여 있으면 무언가 있다"는 이유만으로 잡아내므로, 학습 기반 검출이 놓친 것을 받아 주는 안전망으로 쓰인다.

카메라로 깊이를 얻는 법

카메라 영상에는 거리가 없다. 깊이를 되찾는 방법은 몇 가지다. 스테레오 시차(18장), 물체가 지면에 닿는 화소 위치와 카메라 높이로 푸는 기하, 차의 크기에 대한 사전 지식, 그리고 화소마다 깊이를 직접 예측하도록 학습한 신경망이다. 여러 시점의 영상을 시간에 걸쳐 모으면 움직임 시차도 쓸 수 있다. 어느 방법이든 거리 오차가 거리와 함께 빠르게 커진다는 점은 같다.

조감도(BEV) 표현

영상 평면에서는 먼 물체가 작고, 물체끼리 가리고, 카메라마다 좌표가 따로다. 계획은 도로 평면 위에서 이루어진다. 그래서 여러 카메라의 특징을 위에서 내려다본 하나의 격자, 곧 조감도(Bird's-Eye View, BEV)로 옮겨 놓고 그 위에서 검출과 분할을 한다. BEV에서는 물체의 크기가 거리에 따라 변하지 않고, 라이다와 레이더의 데이터도 같은 격자에 올릴 수 있으며, 출력이 그대로 계획의 입력 좌표가 된다. 어려운 부분은 영상 특징을 BEV로 올리는 변환이다. 화소마다 깊이 분포를 예측해 뿌리거나, BEV의 각 칸이 영상의 어느 부분을 볼지 주의(attention) 연산으로 학습하게 한다.

점유 격자: 이름을 몰라도 피할 수 있게

검출은 "이것은 차다"라고 이름을 붙일 수 있을 때만 작동한다. 쓰러진 나무, 떨어진 화물, 처음 보는 모양의 공사 장비에는 이름이 없다. 점유 격자(occupancy grid)는 질문을 바꾼다. 공간을 작은 칸으로 나누고, 칸마다 "여기가 무언가로 차 있을 확률"만 적는다.

광선 하나가 어떤 칸에서 반사되어 돌아왔다면, 그 칸은 차 있을 가능성이 높고 센서와 그 칸 사이의 칸들은 비어 있을 가능성이 높다. 측정 한 번은 믿을 수 없으므로 여러 번의 증거를 쌓아야 한다. 확률을 그대로 곱하면 계산이 번거롭고 0이나 1 근처에서 수치가 불안정하므로, 확률을 로그 오즈(log-odds)로 바꿔 덧셈으로 갱신한다.

최근에는 이 격자를 3차원 복셀로 넓히고, 칸마다 점유 여부와 함께 의미 클래스와 속도까지 신경망이 예측하게 한다. 카메라만으로 이런 3D 점유 지도를 만드는 방식이 널리 연구되고 양산에도 쓰인다.

추적: 프레임을 이어 속도를 얻는다

검출은 프레임마다 따로 이루어진다. 이번 프레임의 박스 7개와 지난 프레임의 박스 7개 사이에는 아무 연결이 없다. 추적(tracking)은 이들을 이어 물체마다 고유 번호를 붙이고 궤적을 만든다. 추적이 있어야 속도를 알 수 있고, 한두 프레임 검출이 끊겨도 물체를 잃지 않으며, 한 프레임짜리 오검출을 걸러낼 수 있다.

추적은 두 문제로 나뉜다. 하나는 데이터 연관이다. 새 검출 각각이 기존 궤적 가운데 어느 것에 해당하는지 짝을 짓는다. 각 궤적이 지금쯤 있을 위치를 예측하고, 예측과 검출 사이의 거리를 비용으로 하여 전체 비용이 최소가 되는 짝을 찾는다(헝가리안 알고리즘). 거리는 단순한 유클리드 거리가 아니라 불확실성으로 나눈 마할라노비스 거리를 쓰고, 일정 값을 넘는 짝은 아예 허용하지 않는다. 짝을 못 찾은 검출은 새 궤적의 후보가 되고, 여러 프레임 동안 짝이 없는 궤적은 지운다.

다른 하나는 상태 추정이다. 짝지어진 측정에는 잡음이 있다. 측정을 그대로 믿으면 궤적이 떨리고, 속도는 위치 차이를 시간으로 나눈 것이라 더 심하게 떨린다. 여기에 쓰는 표준 도구가 칼만 필터다.

칼만 필터: 예측하고, 고친다

칼만 필터(Kalman filter)는 두 가지 정보를 섞는다. 하나는 운동 모델이다. "물체는 방금 속도 그대로 조금 더 갔을 것이다." 다른 하나는 측정이다. 둘 다 틀릴 수 있으므로 각각의 불확실성에 따라 가중 평균을 낸다. 상태 \(\mathbf{x}\)(위치와 속도)와 그 불확실성인 공분산 \(\mathbf{P}\)를 함께 들고 다니며 두 단계를 되풀이한다.

가장 단순한 운동 모델은 등속(constant velocity)이다. 상태를 \([x,\ y,\ v_x,\ v_y]\)로 두면 \(\mathbf{F}\)는 "위치에 속도 × 시간을 더한다"는 뜻의 행렬이고, 측정은 위치만 보므로 \(\mathbf{H}\)는 앞의 두 성분만 뽑는다. 속도는 한 번도 직접 재지 않지만, 위치 측정이 예측과 어긋나는 방향을 보고 필터가 속도를 고쳐 나간다.

등속 모델은 단순한 만큼 한계가 뚜렷하다. 물체가 모델과 다르게 움직이는 정도를 \(\mathbf{Q}\) 하나로 뭉뚱그리기 때문이다. 실제 추적기는 등속, 등가속, 선회 모델을 여러 개 동시에 돌리며 가장 잘 맞는 것에 무게를 싣는다. 또 레이더처럼 거리와 각도로 측정하는 센서는 측정과 상태의 관계가 비선형이어서, 매 순간 선형으로 근사하는 확장 칼만 필터(EKF)나 대표점 몇 개를 실제 함수에 통과시키는 무향 칼만 필터(UKF)를 쓴다.

센서 융합과 좌표 변환

18장에서 보았듯 센서마다 잘하는 것이 다르다. 카메라는 각도 분해능이 뛰어나 물체가 어느 방향에 있는지는 정밀하게 알지만 거리는 어림한다. 레이더는 거리와 상대 속도를 정밀하게 재지만 각도는 뭉툭하다. 두 측정을 합치면 양쪽의 좋은 쪽만 남는다. 이것이 우연이 아니라 수학적으로 보장된다는 점이 융합의 핵심이다.

두 측정을 각각 평균 \(\mathbf{z}_1, \mathbf{z}_2\)와 공분산 \(\mathbf{P}_1, \mathbf{P}_2\)를 갖는 가우시안으로 보면, 둘을 곱한 결과도 가우시안이다.

어느 단계에서 합칠 것인가

위 계산은 각 센서가 검출을 끝낸 뒤 결과끼리 합치는 방식이다. 합치는 시점은 더 앞으로 당길 수 있고, 시점마다 얻는 것과 잃는 것이 다르다.

후기 융합의 독립성은 안전 설계에서 값지다. 카메라 경로와 레이더·라이다 경로가 서로 다른 원리로 같은 물체를 확인하면, 한쪽의 체계적인 실패가 다른 쪽에서 드러난다. 이 이중화는 21장에서 다시 다룬다.

좌표계: 센서에서 차량으로, 차량에서 지도로

융합이 성립하려면 모든 측정이 같은 좌표계에 있어야 한다. 카메라가 본 점은 카메라 렌즈 중심을 원점으로 하고, 라이다가 본 점은 라이다 중심을 원점으로 한다. 이들을 차량 좌표계(보통 뒤 차축 중심이 원점, x가 전방, y가 좌측, z가 위)로 옮기고, 다시 차의 위치와 자세를 써서 지도 좌표계로 옮긴다. 각 변환은 회전과 평행 이동이며, 동차 좌표를 쓰면 행렬 곱 하나가 된다.

측위: 나는 어디에 있는가

내비게이션에는 5 m 오차도 충분하지만, 차로 안에서 스스로 달리려면 횡 방향으로 10~20 cm 수준이 필요하다. 어느 차로에 있는지 틀리면 지도에서 읽어 온 신호등과 정지선, 제한 속도가 모두 남의 차로 것이 된다. 한 가지 수단으로는 이 정밀도를 늘 얻을 수 없다.

• GNSS. 절대 위치를 주지만 열린 하늘에서도 수 m 오차가 보통이고, 고층 건물 사이에서는 반사된 신호(다중 경로) 때문에 수십 m까지 튄다. 터널과 지하에서는 아예 끊긴다. RTK 보정을 받으면 cm 수준이 되지만 보정 신호와 위성 가시성이 함께 필요하다.
• 오도메트리. 휠 속도와 IMU를 적분해 "방금보다 얼마나 움직였는가"를 높은 주기로 매끄럽게 알려 준다. 대신 오차가 쌓인다(드리프트). 방위각이 조금만 틀려도 그 방향으로 계속 달리므로 횡 방향 오차가 거리에 비례해 커진다.
• 지도 대조. 지금 센서로 보이는 것을 미리 만든 지도와 맞춰 본다. 지도가 정확한 만큼 절대 위치를 cm 수준으로 얻지만, 지도에 없는 곳이나 풍경이 바뀐 곳에서는 쓸 수 없다.

정밀 지도와 지도 매칭

정밀 지도(HD map)는 차로 중심선과 경계선, 정지선, 신호등과 표지판의 3차원 위치, 연석과 가드레일 같은 구조물을 cm~dm 정확도로 담는다. 측위에서는 "보이는 것"과 "지도에 있는 것"을 겹쳐 가장 잘 맞는 위치와 방위를 찾는다. 카메라가 검출한 차선과 표지판을 지도의 것과 맞추거나, 라이다 포인트 클라우드를 지도의 점 구름과 맞춘다.

점 구름끼리 맞추는 대표적인 방법이 ICP(Iterative Closest Point)다. 지금 스캔의 각 점에 대해 지도에서 가장 가까운 점을 짝으로 잡고, 짝끼리의 거리 제곱 합이 최소가 되는 회전과 이동을 구해 스캔을 옮긴다. 옮긴 뒤 짝을 다시 잡고 같은 일을 수렴할 때까지 반복한다. 초기 위치가 크게 틀리면 엉뚱한 짝에 끌려가므로 오도메트리가 주는 초기값이 중요하다.

파티클 필터: 가설을 뿌리고 걸러낸다

칼만 필터는 "내 위치는 여기 근처"라는 봉우리 하나짜리 분포만 표현한다. 시동을 막 걸었거나 터널에서 나왔을 때는 "이 교차로일 수도, 저 교차로일 수도 있다"처럼 후보가 여럿이다. 파티클 필터(particle filter)는 분포를 수백~수천 개의 점(입자)으로 나타낸다. 입자 하나하나가 "차가 여기 있다"는 가설이다.

1. 이동. 오도메트리가 알려 준 만큼 모든 입자를 옮긴다. 오도메트리 오차만큼 무작위 흔들림을 더한다.
2. 가중. 입자마다 "차가 정말 여기 있다면 센서에 무엇이 보여야 하는가"를 지도에서 계산해 실제 관측과 비교한다. 잘 맞을수록 높은 가중치를 준다.
3. 재추출. 가중치에 비례해 입자를 다시 뽑는다. 맞는 가설은 여러 개로 복제되고 틀린 가설은 사라진다.

SLAM과 지도 없는 주행

지도가 없으면 지도를 만들면서 그 안에서 위치를 잡아야 한다. 이것이 SLAM(Simultaneous Localization and Mapping)이다. 위치를 알아야 지도를 그리고 지도가 있어야 위치를 아는 닭과 달걀의 문제지만, 연속한 스캔끼리 맞춰 이동량을 구하고 이를 이어 붙이면 양쪽이 함께 자라난다. 이어 붙인 오차는 쌓이므로, 전에 왔던 곳에 다시 왔음을 알아차려(루프 폐쇄) 궤적 전체를 한꺼번에 바로잡는다. 정밀 지도 자체가 측량 차량이 모은 데이터를 이런 방식으로 정합해 만든 결과물이다.

정밀 지도에 얼마나 기댈지는 설계 철학이 갈리는 지점이다.

실제 시스템은 양극단 사이에 있다. 지도를 쓰더라도 지도와 지금 보이는 것이 다르면 보이는 것을 우선하고, 지도를 쓰지 않더라도 여러 차가 지나며 모은 차로 구조를 가벼운 사전 정보로 쓴다.

불확실성, 롱테일, 그리고 데이터

인지의 어려움은 평균적인 장면에 있지 않다. 맑은 날 고속도로의 승용차는 이미 사람보다 잘 본다. 문제는 드물게 나타나는 수많은 경우다. 유모차를 미는 사람, 화물칸에 자전거를 실은 트럭, 버스 광고판 속의 사람 얼굴, 도로에 누운 사람, 탈을 쓴 행인, 뒤집힌 차. 하나하나는 수백만 km에 한 번 나올까 말까 하지만 종류가 끝없이 많아 모두 합치면 무시할 수 없다. 발생 빈도 분포의 긴 꼬리에 해당한다고 해서 롱테일(long tail) 문제라 부른다.

학습 기반 인지는 본 것을 잘한다. 따라서 성능은 모델 구조만큼이나 데이터가 정한다. 여기서 세 가지 일이 중요하다.

• 라벨링. 영상의 박스, 포인트 클라우드의 3D 박스, 화소별 클래스를 정답으로 달아야 한다. 사람이 하면 느리고 비싸므로, 시간 제약 없이 과거와 미래 프레임을 모두 쓰는 크고 느린 모델로 먼저 자동 라벨을 만들고 사람은 검수만 하는 방식이 일반적이다.
• 데이터 고르기. 주행 데이터의 대부분은 이미 잘하는 평범한 장면이다. 모델이 확신하지 못한 장면, 센서끼리 결과가 달랐던 장면, 운전자가 개입한 장면을 골라내 학습에 넣어야 꼬리가 줄어든다.
• 시뮬레이션과 합성. 현실에서 모으기 위험하거나 드문 장면은 만들어 낸다. 다만 합성 영상과 실제 영상의 차이가 성능 차이로 이어지지 않는지 따로 확인해야 한다.

모르는 것을 모른다고 말하는 능력도 인지의 일부다. 신경망의 신뢰도 점수는 훈련 때 보지 못한 입력에서 근거 없이 높게 나오는 경향이 있다. 그래서 점수가 실제 정답률과 일치하도록 보정하고, 점유 격자처럼 이름을 붙이지 않고도 "무언가 있다"를 알려 주는 경로를 함께 두며, 센서 오염이나 역광처럼 입력 자체가 나빠진 상황을 따로 감지한다. 인지가 불확실성을 정직하게 넘겨주어야 계획 단계가 속도를 줄이거나 거리를 벌리는 식으로 대응할 수 있다. 이 뒷이야기는 20장과 21장에서 이어진다.