CPU의 속도에 의해 컴퓨터의 속도가 결정될 정도로 CPU에 비해 주변기기의 속도는 매우 느리다. 또한 프로그램을 실행시킬 때마다 하드 디스크에서 프로그램을 읽어야 하기 때문에 하드 디스크의 속도 역시 주기억장치보다 매우 느리다. 따라서 주기억장치와 하드 디스크 사이에 임시 저장장치를 만들고 프로그램을 실행할 때 주기억장치로 들어오는 내용을 임시 보관한다. 나중에 프로그램을 다시 실행시키면 하드 디스크가아닌 임시 기억장치에서 읽어오기 때문에 읽어오는 시간이 매우 빨라진다. 이 임시 기억장치를 캐시기억장치라고 한다. 캐시기억장치는 CPU가 데이터에 빠르게 접근할 수 있도록 하는 고속의 기억장치다. 컴퓨터는 다음에 어떤 데이터가 필요한지 예측하여 미리 캐시기억장치에 갖다 놓을 수 있다. CPU는 필요한 데이터를 찾을 때 주기억장치를 확인하기 전에 먼저 캐시기억장치를 확인한다. 따라서 읽기와 쓰기 동작의 속도가 향상되어 전체적으로 CPU 속도에 영향을 주게 된다.

캐시 기억장치를 내부에 장착한 마이크로프로세서도 나왔다. 펜티엄 컴퓨터는 CPU 내부의 캐시를 두 개로 늘렸는데, 각각은 명령 처리를 위한 캐시와 데이터 처리를 위한 캐시다. 이로 인해 CPU의 속도가 훨씬 빨라졌다.