Application.Exit() 해도 프로세스가 실행될때, 죽지 않을때.

Application.Exit()로 어플리케이션 종료해도, 프로세스가 죽지 않을때.

쓰레드가 실행되고 있을 가능성이 높습니다.

요렇게 해주면 죽네요.

Application.ExitThread();

Environment.Exit();

참고:
https://stackoverflow.com/questions/25050341/application-is-still-running-in-memory-after-application-exit-is-called