Die Farben der Edel- und Schmucksteine entstehen durch die Sinneswahrnehmung des Auges von elektromagnetischen Schwingungen bestimmter Wellenlängen.  Das menschliche Auge nimmt nur den Wellenbereich von 750 bis 380 nm wahr.  Dieser Bereich gliedert sich in mehrere Sektoren bestimmter Wellenlängen mit den dazugehörigen Farben, den sogenannten Spektralfarben Rot, Orange, Gelb, Grün, Blau und Violett.

Die Mischung aller dieser Farben macht das weiße Licht aus.  Wird nur ein Wellenbereich (d. h. auch die zuständige Farbe) aus dem Gesamtspektrum absorbiert, ergibt sich aus dem übrigbleibenden Gemisch eine ganz bestimmte Farbe, aber keinesfalls Weiß.  Werden alle Wellenlängen von einem Edelstein durchgelassen, ist der Stein farblos.  Wird dagegen alles Licht absorbiert, erscheint der Edelstein schwarz.  Wird von allen Wellenlängen gleich viel absorbiert, ist der Stein trübweiß oder grau.

Bei den Edel- und Schmucksteinen sind es vor allem die Metalle und deren Verbindungen, insbesondere Chrom, Eisen, Kobalt, Kupfer, Mangan, Nickel und Vanadium, die gewisse Wellenlängen des weißen Lichts absorbieren und damit farbgebend wirken.

Bei Zirkon und Rauchquarz ist keine Fremdsubstanz für die Farbe verantwortlich, sondern eine Deformation des inneren Aufbaus (des Raumgitters) infolge kurzwelliger Strahlen der Atmosphäre (der sogenannten Höhenstrahlung), wodurch es zu einer selektiven Absorption kommt, zu einer Änderung der ursprünglichen Farbe. 

Auch die Länge des Lichtwegs durch den Kristall beeinflusst die Absorption und damit die Farbe.  Deshalb muss man beim Schleifen versuchen, diese Tatsache vorteilhaft zu nutzen.  Hellfarbige Steine erhalten dickere Körper und/oder eine solche Facettenanordnung, dass sich die Farbe mit Hilfe des längeren Absorptionswegs vertieft.  Bei zu dunklen Farben muss der Stein dünn gehalten werden.  Der dunkelrote Almandin-Granat z.B. wird daher vielfach an der Unterseite ausgehöhlt. 

Kunstlicht hat auf die Farbe der Edel- und Schmucksteine insofern einen Einfluss, als es gewöhnlich anders als das Tageslicht zusammengesetzt ist.  Es gibt Edelsteine, deren Farbe bei Kunstlicht ungünstig beeinflusst wird (z.  B. Saphir), und solche, die bei künstlichem Licht besonders strahlend wirken (z.  B. Rubin und Smaragd).  Am auffälligsten ist ein derartiger Farbwechsel (Changieren genannt) beim Alexandrit.  Bei Tageslicht ist er grün, abends bei Kunstlicht rot.  Obwohl die Farbe bei den Edelsteinen eine große Rolle spielt, kennt man, keine praktische Methode einer objektiven Farbbeurteilung ausser beim Diamanten.  Farbvergleichstafeln sind nur spärlicher Ersatz, der subjektive Spielraum ist sehr groß.  Die in der Wissenschaft angewendeten Meßmethoden zur Farbbestimmung sind für den Handel zu aufwendig.