미분 계산이 가능하려면 왜 함수가 연속이어야 할까?

미분 계산이 가능하려면 함수가 연속이어야 한다.

때문에 미분 가능성과 함수의 연속성은 항상 따라다니는 말이다. 때문에 딥러닝에서 사용하는 함수들은 모두 연속 가능해야 한다. 활성화 함수, 모델 함수, 손실 함수 모두!

 

왜 미분 계산이 가능하려면 함수가 연속이어야 하는 걸까?

일단 연속의 개념을 알아야 한다.

출처: https://thebook.io/080246/0138/

연속은 함수가 끊어지지 않고 연결되어 있을 때 점에서 연속이라고 한다. 불연속적인 것은 위 오른쪽 사진과 같이 0일 때 극한값과 함수 값이 일치하지 않은 것을 볼 수 있다. 0에서 미분을 하면 0인데 함수 값이 1이기 때문이다.

 

미분은 다음 식으로 정의된다.

a 라는 점에서의 함수 f(x)의 미분 계수는 위 처럼 정의되는데 이 식이 의미가 있으려면 f(a) 값이 존재해야 하고 f(a + h)가 f(a) 근처에서 잘 정의되어 있어야 하며, 극한이 수렴해야 한다.

만약 a에서 불연속이라면 위처럼 함수값과 극한값이 일치하지 않아 극한 자체를 정의할 수 없게 된다. 때문에 미분 가능하다면 반드시 연속해야 한다.