PyTorch를 사용하여 실시간 차선 감지 (Lane Detection) 모델 학습시키기

🌯 소개

GitHub - IrohXu/lanenet-lane-detection-pytorch: Unofficial implemention of lanenet model for real time lane detection Pytorch Ve

lanenet-lane-detection-pytorch 레포지토리는 실시간 차선 감지를 위한 lanenet 모델의 비공식 구현인 PyTorch 버전임. 난 PyTorch가 뭐하는 건지도 몰랐음.

- 📝 lanenet 모델

- 📝 PyTorch

 

PyTorch를 사용해 IEEE IV 학회 논문 "Towards End-to-End Lane Detection: an Instance Segmentation Approach"을 기반으로 한 차선 감지를 위한 심층 신경망을 구현한다고 함. 

- 📝 심층 신경망(DNN, Deep neural Network)

 

이 모델의 구성은 다음과 같음.

1. ENet 인코더

2. 이진 시맨틱 분할을 위한 ENet 디코더

3. 판별 손실 함수를 사용해 인스턴스 시맨틱 분할을 위한 ENet 디코더

 

메인 네트워크 아키텍처는 다음과 같음.

 

학습의 결과 아래와 같은 결과를 얻을 수 있다고 함.

input으로 첫번째 사진을 넣으면 instance output으로 두번째 사진을, binary output으로 세번째 사진을 얻을 수 있음.

 

🫔 준비

1. Git (내 버전 : git version 2.42.0.windows.1)

2. Python (내 버전 : Python 3.11.0)

3. PyCharm Community Edition 2023.2.1

4. CUDA Toolkit (내 버전 : V11.7.64)

 

🥫 시작

Git Clone

명령 프롬프트를 키고 원하는 위치로 이동해 lanenet-lane-detection-pytorch 레포지토리를 클론함. 

git clone https://github.com/IrohXu/lanenet-lane-detection-pytorch.git

가상 환경 세팅

클론한 레포지토리 경로로 이동해서 가상 환경을 생성하는 명령어 입력. 명령어를 분리해보면 python(Python 인터프리터 실행) -m venv(가상 환경 관리하는 venv 모듈 실행) venv(가상 환경 이름 설정)라는 의미임.

python -m venv venv

 

가상 환경 실행

아래 명령어로 가상 환경 활성화 실행. 가상 환경이 실행되면 명령 프롬프트의 프롬포트 맨 앞에 가상 환경의 이름이 표시됨. 가상 환경 비활성화는 `deactivate` 명령어로 가능.

venv\Scripts\activate

 

의존성 목록 설치

= requirements.txt 설치

토치 버전 잘못 깔음.. cuda 1.7과 호환되는 버전으로 다시 설치 팀장님 최고

scikit-image도 안깔음

훈련

일단 파이참 켜보기

내 쿠다가 잘 도는지 확인

아주 굿

첫 훈련 완료 loss가 1을 넘음

best_model.pth 파일이 업데이트됨

로그도 잘 들어옴

첫 훈련 성과 확인하기

짱멍청

더 빡세게 훈련시키기

[TuSimple

Ace the Lane Detection Challenge

www.kaggle.com](https://www.kaggle.com/datasets/manideep1108/tusimple)

TUSimple 데이터셋 다운로드하고

훈련시키기

그 전에 너무 오래 걸려서 훈련시키고 잘거니까 나중에 얼마나 걸렸는지 확인 용도로 epoch 하나 찍을 때마다 타임스탬프도 같이 찍기

train.py에 아래 코드 추가

import datetime

# ...

for epoch in range(num_epochs):
    current_time = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    print(f'[{current_time}] Epoch {epoch}/{num_epochs - 1}')
    print('-' * 10)

    # 나머지 코드는 그대로 유지합니다.

자야징

python train.py: Python 스크립트 "train.py"를 실행합니다. 이 스크립트는 모델 훈련을 수행합니다.

--dataset path/to/tusimpledataset/training: 이 플래그는 사용할 데이터셋의 경로를 지정합니다. "path/to/tusimpledataset/training" 부분은 실제 데이터셋이 있는 디렉토리 경로로 대체되어야 합니다. 이 디렉토리는 훈련 데이터가 포함되어 있어야 합니다.

--loss_type CrossEntropyLoss: 이 플래그는 사용할 손실 함수의 유형을 설정합니다. 여기에서 "CrossEntropyLoss"를 사용하도록 설정되어 있으므로, 훈련 중에 모델의 예측과 실제 레이블 간의 교차 엔트로피 손실을 최소화하려고 시도할 것입니다. 다른 손실 함수를 사용하려면 해당 손실 함수의 이름을 여기에 지정하면 됩니다.

... 9월 5일 00:43에 시작한 훈련이 9월 6일 03:34에 끝났음. 27시간 걸림...

 

python train.py --dataset ./tusimpledataset/TUSimple/train_set/training 총 172m, 평균적으로 7분씩,

 

python train.py --dataset ./tusimpledataset/TUSimple/train_set/training --loss_type CrossEntropyLoss 총 166m, 평균적으로 7분씩,

python train.py --dataset ./tusimpledataset/TUSimple/train_set/training --model_type DeepLabv3+ 총 1328m, 평균적으로 53씩 걸렸음.

 

테스트

먼저 우린 마지막에 LaneNet 모델이 아니라 DeepLabv3+ 모델로 훈련시켰기 때문에 테스트도 DeepLabv3+ 모델 타입으로 바꿔서 실행시켜야 함.

python test.py --img ./data/tusimple_test_image/0.jpg --model_type DeepLabv3+

근데 테스트하는데 10s나 걸림.. 테스트 결과는 test_output 폴더에 저장됨. 확인해보면 

순서 : input, instance_output, binary_output

다른 사진 돌려보니 4s 나오긴함.

이번에는 좀 휘어지는 도로 차선으로 테스트해봄. 또 4s 걸림.

이번엔 따로 다운로드 받은 TUSimple 데이터셋의 test_set에서 차선에 그림자가 드리운 사진으로 테스트해봄. 생각보다 아주 잘함. 오른쪽으로 갈라지는 차선까지 잘 표현된 듯.

테스트 몇 개 더 해봄. 앞 차에 의해 도로가 가려지는 경우에도 도로를 잘 검출함.

일단 실시간으로 차선 검출을 해야하는데 4s나 걸리는 게 문제임. 라즈베리파이로 돌리면 더 오래 걸린다 함.. PNG 파일 안됨. 세로 영상인 경우 이미지가 찌부됨.