Başka: is like "another one". It is more general and means any item that is different from the one you are referring to.

Bu kalem çalışmıyor, başka kalemin var mı?

this pen doesn´t write, do you have another pen?

Öteki: "the other one". Specifically the other one out of a choice of two.

Ahmet Bey´in iki kızı var. Biri doktor öteki öğretmen.

Ahmet Bey has two daughters. On is a doctor, the other a teacher.

Diğer: "other"

There are a few words with similar functions:

ADJECTIVE   (-ADVERB)

öbür - ü

öteki - si

başka -sı

diğer-i

THE OTHER:

Bu olmaz öbürünü/ötekisini ver. This is not good, give me the other one.

Ayın öbür yüzü. The other side of the moon.

Diğeri nerede? Where is the other one?

ANOTHER

Bu olmaz. Başka yok mu? This is not good. Isn´t there another one?

Hayatında başka biri var mı? Is there another person in your life?

OTHER

Diğer günler hep boşum. I am completely free on other days.

Diğer taraftan. On the other hand.

I agree with Marion´s explanations. But you can use "diğer" also as "the other". I think (I couldn´t find any exceptions now) you can always replace "öteki" with "diğer" or "diğeri"

e.g.

She saw two dresses; one blue, the other red. She tried the red one but she bought the other dress.

ݝki elbise gördü; biri mavi, diğeri/öteki kırmızıydı. Kırmızı olanı denedi ama diğer/öteki elbiseyi aldı. (or Kırmızı olanı denedi ama diğerini/ötekini aldı.)