MF-LPR2 - 0x38A Learn

MF-LPR2는 Multi-Frame License Plate Restoration & Recognition의 약자입니다. 블랙박스 영상에서 흐릿한 자동차 번호판을 고화질로 복원하는 딥러닝 기반 화질 개선 시스템입니다.

MF-LPR2 pipeline structure

Overview

Field	Value
Period	2023.06 - 2024.12
Domain	Computer Vision
Repository	LPR2
Result	Worst 30% frame 기준 RMSE 13.37% 개선

My role

DeepLabV3 기반 번호판 영역 추출 및 시점 보정
FlowFormer++ 기반 프레임 정렬 파이프라인 구성
TCDM 기반 후처리로 번호판 복원 품질 개선
번호판 세그멘테이션, 시점 보정, scene text prior 기반 후처리 실험과 구현 담당

Pipeline

DeepLabV3로 번호판 영역을 추출합니다.
Homography로 번호판 영역을 고정 비율로 보정합니다.
FlowFormer++로 프레임 간 optical flow를 추정합니다.
기준 프레임으로 여러 프레임을 정렬합니다.
CLAHE와 TCDM 기반 후처리로 복원 품질을 개선합니다.

Core stack

Area	Stack
Language and framework	Python, PyTorch, OpenCV
Models	DeepLabV3, FlowFormer++, TCDM
Hardware	CUDA

Metrics

Metric	Value
Detection Precision	0.890
Detection Recall	0.875
Average RMSE improvement	3.71%
Worst 30% frame RMSE improvement	13.37%

Results

result1

Restoration comparison

기존 super-resolution 모델 대비 hallucination을 줄이는 방향으로 실험했습니다.

result2

Recognition-oriented restoration

번호판 인식 가능한 품질로 복원하는 것을 목표로 했습니다.

Collaboration

NC&와 산학협력으로 실제 블랙박스 데이터 기반 검증과 피드백을 반영했습니다.