黃鐵礦是分布最廣泛的硫化物礦物 ，在各類岩石中都可出現 。在岩漿岩中 ，黃鐵礦呈細小浸染狀 ，為岩漿期後熱液作用的產物 。接觸交代礦床中 ，黃鐵礦常與其它硫化物共生，形成於熱液作用後期階段 。在熱液礦床中 ，黃鐵礦與其它硫化物 、氧化物 、石英等共生 ；有時形成黃鐵礦的巨大堆積 。在沉積岩 、煤係及沉積礦床中 ，黃鐵礦呈團塊 、結核或透鏡體產出 。在變質岩中 ，黃鐵礦往往是變質作用的新生產物 。黃鐵礦可經由岩漿分結作用 、熱水溶液或升華作用中生成 ，還可於火成岩（岩漿岩） 、沉積岩中生成 。其礦床主要是在內生作用下形成的 ，沉積作用也能形成硫鐵礦礦床 。

一般認為 ，地球深處尚未凝固的岩漿中含有大量的硫 ，當岩漿侵入到地殼時 ，由於壓力減小了 ，因此岩漿內所含的硫就分離出來 。這些硫與各種金屬化合生成了不同的硫化礦物 。當岩漿中含有大量的硫 ，且氧也很充足時 ，就生成硫鐵礦 ；否則 ，就生成磁黃鐵礦 。