# Sitemap untuk membantu mesin pencari menemukan halaman lebih cepat
Sitemap: https://www.wbipoltek.ac.id/sitemap.xml

# Izinkan semua mesin pencari mengakses situs
User-agent: *

# Izinkan pengindeksan seluruh situs, kecuali halaman yang tidak perlu
Disallow: /admin/
Disallow: /login/
Disallow: /register/
Disallow: /cart/
Disallow: /checkout/
Disallow: /wp-admin/  # Jika menggunakan WordPress
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /private/

# Cegah pengindeksan halaman pencarian internal untuk menghindari duplikasi konten
Disallow: /search
Disallow: /query

# Izinkan pengindeksan file penting
Allow: /wp-content/uploads/
Allow: /images/
Allow: /css/
Allow: /js/

# Blokir bot yang tidak diinginkan agar tidak membebani server
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

# Izin penuh untuk Googlebot (agar bisa mengindeks semua konten penting)
User-agent: Googlebot
Allow: /

# Aturan untuk bot gambar Google
User-agent: Googlebot-Image
Allow: /images/

# Aturan untuk bot mobile Google
User-agent: Googlebot-Mobile
Allow: /

# Hindari crawl delay untuk mempercepat indeksasi
Crawl-delay: 2