Web Crawlers

-

 

sumber gambar: medium.com

A. Selection policy

    Sebuah studi tahun 2009 menunjukkan bahkan indeks mesin pencari skala besar tidak lebih dari 40-70% dari web yang dapat diindeks. Penelitian sebelumnya oleh Steve Lawrence dan Lee Giles menunjukkan bahwa tidak ada mesin pencari yang mengindeks lebih dari 16% dari Web pada tahun 1999.Merancang kebijakan pemilihan yang baik memiliki kesulitan tambahan: ia harus bekerja dengan informasi parsial, karena set lengkap halaman Web tidak dikenal selama perayapan. Selection Policy Meliputi

  1. Restricting followed links (Membatasi tautan yang diikuti)
  2.  URL normalization (Normalisasi URL)
  3.  Path-ascending crawling (Perayapan jalur-naik)
  4.  Focused crawling (Perayapan terfokus)

B. Revisit policy

    Memiliki sifat yang sangat dinamis, dan merayapi sebagian kecil dari Web dapat memakan waktu berminggu-minggu atau berbulan-bulan. Pada saat perayap Web telah menyelesaikan perayapannya, banyak peristiwa dapat terjadi, termasuk pembuatan, pembaruan, dan penghapusan. Dari sudut pandang mesin pencari, ada biaya yang terkait dengan tidak mendeteksi suatu peristiwa, dan dengan demikian memiliki salinan sumber daya yang sudah usang. Fungsi biaya yang paling sering digunakan adalah Freshness dan Age.

C. Politeness policy

sumber gambar: indoworx.com

    Politeness policy dapat mengambil data jauh lebih cepat dan lebih dalam dari pada pencari manusia, sehingga mereka dapat memiliki dampak yang melumpuhkan pada kinerja suatu situs.Seperti dicatat oleh Koster, penggunaan crawler Web berguna untuk sejumlah tugas, tetapi disertai dengan harga untuk masyarakat umum.

D. Parallelization policy

    Crawler Parallel  adalah Crawler yang menjalankan banyak proses secara paralel. Tujuannya adalah untuk memaksimalkan kecepatan unduhan sambil meminimalkan overhead dari paralelisasi dan untuk menghindari unduhan berulang pada halaman yang sama

Apakah Crawler Diperbolehkan di Indonesia?

- Permasalahan hukum Indonesia yang berkaitan dengan crawler ini adalah hukum Hak Kekayaan Intelektual (HKI), khususnya hak cipta dan merek. Hal ini dikarenakan, web page (halaman situs) merupakan suatu karya cipta yang dilindungi oleh hukum

 - Dalam UU No. 15 Tahun 2001 tentang Merek yang telah merevisi UU No 14 Tahun 1997 maupun dalam UU No.12 Tahun 1997 tentang Hak Cipta, tidak ada ketentuan yang secara spesifik menyebutkan masalah crawler ini.

Comments

Post a Comment

Popular posts from this blog

Arsitektur Web dan Aplikasi Utama

-
Image
      Sumber: basisbogor.home.blog A. HTTP      Protokol Transfer Hiperteks (Hypertext Transfer Protocol, disingkat HTTP) adalah protokol pada lapisan aplikasi untuk sistem informasi hypermedia yang terdistribusi dan kolaboratif.HTTP adalah dasar komunikasi data untuk World Wide Web, di mana dokumen hiperteks menyertakan hyperlink ke sumber daya lain yang dapat dengan mudah diakses pengguna, misalnya dengan mengklik mouse atau dengan mengetuk layar di peramban web.      Pengembangan HTTP diprakarsai oleh Tim Berners-Lee di CERN pada tahun 1989. Pengembangan Permintaan HTTP awal untuk Komentar (RFC) adalah upaya terkoordinasi oleh Internet Engineering Task Force (IETF) dan World Wide Web Consortium (W3C), dengan pekerjaan kemudian pindah ke IETF.      HTTP/1.1 pertama kali didokumentasikan dalam RFC 2068 pada tahun 1997. Spesifikasi itu sudah usang oleh RFC 2616 pada tahun 1999, yang juga digantikan oleh keluarga RFC 72...
Read more

Penulisan Games

-
Image
  A. Pengertian Video Games      Video games atau disebut permainan video merupakan Permainan elektronik yang melibatkan interaksi dengan antarmuka   pengguna  atau perangkat   masukan   - seperti sebagai perangkat joystik , Kontrol , Keyboard , atau motion   sensing   - untuk menghasilkan umpan balik visual. B. Pengaruh Game Terhadap Kehidupan Pelajar Sumber foto: rijal09.com      Game umumnya disukai anak lelaki namun tidak menutup kemungkinan game juga banyak disukai gender perempuan,banyak peminat game dikalangan pelajar ini berdampak turunnya kualitas pendidikan dikalangan pelajar karena dengan bermain game online banyak pelajar yang masa bodoh/tidak peduli dengan pendidikannya.Contohnya: pelajar tidak peduli dengan apa yang dijelaskan guru ketika sedang menjelaskan materi yang akan berakibat turunnya pemahaman anak tersebut untuk memahami materinya,itu salah satu contoh pengaru...
Read more

Demokrasi Era Digital

-
Image
  Demokrasi Digital. /Dok. Kominfo A. Konsep Demokrasi Digital Demokrasi digital dipandang sebagai bentuk pemanfaatan teknologi informasi dan komunikasi dalam proses politik dan pemerintahan. Internet mendorong aspirasi masyarakat tersampaikan melalui berbagai saluran komunikasi pemerintahan sehingga tercipta kebijakan dan regulasi publik.Demokrasi digital menjadi segampang ujung jempol manusia melemparkan isi hati dan benak kepala melalui kedipan layar ponsel pintar jutaan warganet Demokrasi digital meliputi penggunaan seluruh jenis-jenis media internet (internet media), penyiaran interaktif, dan telepon digital (digital telephones) untuk tujuan-tujuan meningkatkan demokrasi atau partisipasi politk warga negara dalam komunikasi demokrasi B. Ruang Publik Tradisional Ruang publik adalah areal atau tempat dimana suatu masyarakat atau komunitas dapat berkumpul untuk meraih tujuan yang sama, sharing permasalah baik permasalah pribadi maupun kelompok. Areal ini dapat berupa ruang dalam ...
Read more