Kami melihat memori komputer digital awal, lihat Sejarah komputer – Memori Inti, dan menyebutkan bahwa RAM standar saat ini (Memori Akses Acak) adalah memori chip. Ini sesuai dengan aplikasi Hukum Moore yang sering dikutip (Gordon Moore adalah salah satu pendiri Intel). Ini menyatakan bahwa kepadatan komponen pada sirkuit terpadu, yang dapat diparafrasekan sebagai kinerja per unit biaya, berfungsi ganda setiap 18 bulan. Memori inti awal memiliki waktu siklus dalam mikrodetik, hari ini kita berbicara dalam nanodetik.

Anda mungkin akrab dengan istilah cache, seperti yang diterapkan ke PC. Ini adalah salah satu fitur kinerja yang disebutkan ketika berbicara tentang CPU terbaru, atau Hard Disk. Anda dapat memiliki cache L1 atau L2 pada prosesor, dan cache disk dengan berbagai ukuran. Beberapa program memiliki cache juga, juga dikenal sebagai buffer, misalnya, saat menulis data ke pembakar CD. Program CD burner awal telah 'overruns'. Hasil akhir dari ini adalah suplai coaster yang bagus!

Sistem mainframe telah menggunakan cache selama bertahun-tahun. Konsep ini menjadi populer pada 1970-an sebagai cara mempercepat waktu akses memori. Ini adalah waktu ketika memori inti sedang dihapus dan digantikan dengan sirkuit terpadu, atau chip. Meskipun chip jauh lebih efisien dalam hal ruang fisik, mereka memiliki masalah keandalan dan penghasil panas lainnya. Keripik dari desain tertentu lebih cepat, lebih panas dan lebih mahal daripada chip desain lain, yang lebih murah, tetapi lebih lambat. Kecepatan selalu menjadi salah satu faktor paling penting dalam penjualan komputer, dan insinyur desain selalu mencari cara untuk meningkatkan kinerja.

Konsep memori cache didasarkan pada fakta bahwa komputer secara inheren merupakan proses sekuensial mesin. Tentu saja salah satu keuntungan besar dari program komputer adalah bahwa ia dapat 'bercabang' atau 'melompat' keluar dari urutan – subjek artikel lain dalam seri ini. Namun, masih ada cukup waktu ketika satu instruksi mengikuti yang lain untuk membuat buffer atau cache tambahan yang berguna untuk komputer.

Ide dasar dari cache adalah memprediksi data apa yang diperlukan dari memori untuk diproses dalam CPU. Pertimbangkan sebuah program, yang terdiri dari instruksi seri, masing-masing disimpan di lokasi dalam memori, katakan dari alamat 100 ke atas. Instruksi di lokasi 100 dibaca dari memori dan dieksekusi oleh CPU, maka instruksi selanjutnya dibaca dari lokasi 101 dan dieksekusi, kemudian 102, 103 dll.

Jika memori yang dimaksud adalah memori inti, itu akan mengambil mungkin 1 mikrodetik untuk membaca instruksi. Jika prosesor mengambil, katakanlah 100 nanodetik untuk mengeksekusi instruksi, maka harus menunggu 900 nanodetik untuk instruksi berikutnya (1 microsecond = 1000 nanodetik). Kecepatan ulangi yang efektif dari CPU adalah 1 mikrodetik .. (Waktu dan kecepatan yang dikutip adalah khas, tetapi tidak mengacu pada perangkat keras tertentu, hanya memberikan ilustrasi tentang prinsip-prinsip yang terlibat).