74 Bình luận
  • tieuphu
    Affiliate theo kiểu theo dõi biến động giá thấy nổi lên nhiều.
  • minister
    nó block crawler phát là ngồi móm
    • kanishi
      @minister block thế mếu nào dc
    • bonsevich
      @kanishi Thỉnh thoảng auto đổi cấu trúc html thì được
    • hungltmed
      @minister hỗ trợ chốt sale việc gì phải ngăn cản
    • TanNg
      @kanishi nó chưa thích thôi, chứ nó thích thì vượt qua thế nào được.
    • minister
      @kanishi ô thử crawl google đi sẽ hiểu nó block ntn
    • kanishi
      @bonsevich ờ, đổi cấu trúc html cũng khóc đấy
    • kanishi
      @minister crawl trang kết quả search của google á?
    • TanNg
      @kanishi Cần gì đổi cấu trúc, trả cho ít kết quả fake là được.
    • TanNg
      @tungbeecost vì anh giỏi mà
    • minister
      @tungbeecost vì luợng truy vấn của bạn quả nhỏ ở 1 dịch vụ quá lớn, bạn thử ở 1 số dịch vụ nhỏ khác như translate , maps , nơi mà nó bán API kiếm $ với 1 luợng query tuơng đối là biết nhau ngay

      @kanishi trong đây có mấy bố làm crawler + chặn crawler từ 10 năm trc
    • bonsevich
      @minister Về nguyên tắc thì content nào view public trên browser được thì đều crawler được. Còn mấy API thì nó có key để verify thì clawler sao được.
    • minister
      @bonsevich, @tungbeecost ko phải api, public services. lại phải giải thích, ngô nghê quá.

      translate.google.com nó cho user xài free, nhưng cũng bán API , bạn nhắm crawl dc data của nó for free xem đc bao nhiêu query / ngày thì nó block bạn

      nếu crawl đc tất thì translate api nó dẹp lâu rồi.
    • bonsevich
      @minister cái bạn nói thì mình hiểu vì cũng đã từng làm, từng bị block. Phải sử dụng proxy, rồi mua proxy để vượt qua. Ở đây ý mình khác, về mặt bản chất thì khi browser đang xem được thì vẫn crawler được, nếu nó block rồi thì trên hệ thống hiện tại browser cũng thế. Còn đưa app crawl lên hệ thống khác vẫn clawl được trong giới hạn của nó thôi (nó cũng giống như 1 ông khách hàng đang vào xem thôi, nhiều quá nó xem ddos nó block thôi, còn muốn xem tiếp thì vào máy khác xem vậy).
    • minister
      @bonsevich cũng ko ăn thua đâu. vì nó # nhau về mặt cơ chế.
      user sẽ render full web với cả HTML, static files và javascript. còn bot thì 99% là chỉ đọc HTML file.

      căn cứ vào user agents, http headers, ip, sessions, cookies là mấy cách cơ bản nhất.
      giờ là pattern, behaviour của từng client để determine 1 client là user hay bot, đơn giản là inject vài đoạn js vào là biết.

      recaptcha 2 là VD ứng dụng của cơ chế này, bạn vào web là nó biết bạn là bot hay user.
      khi bem 1 luợng dumb requests liên tục vào Google, nó show captcha lên ngay lập tức, lâu dài là nó block IP.

      VD khác nữa là Google Adsense, nếu nó chỉ count click ăn tiền, thì ngồi code auto bot ra để click chơi chứ đi làm làm gì

      mấy thằng làm bot / crawler siêu ngon nó còn render full web + javascript, còn làm giả interaction để giả làm real user còn ko ăn lại nữa là thiết kế crawler kiểu chỉ parse HTML như cũ.
    • kanishi

      mấy thằng làm bot / crawler siêu ngon nó còn render full web + javascript, còn làm giả interaction để giả làm real user còn ko ăn lại nữa là thiết kế crawler kiểu chỉ parse HTML như cũ.

      load full js và làm giả interaction cũng không ăn thua hả bác?
    • bonsevich
      @minister Đúng rồi. Có những web căn cứ vào hành vi người dùng để xác định bot hay user thì đúng là bó tay rồi.
    • Nova
      @kanishi nhiều trò lắm, ko thể nói trong 1 2 câu đc, có giả dạng hoàn toàn như người dùng thì nó vẫn có cơ chế chặn đc.
    • dogy
      @kanishi kể cả có ăn thua thì cũng sẽ ảnh hưởng tới độ trễ trong việc thu thập data
  • sevenup029
    Khá hay có app này
  • cucuku
    đang dùng plugin của sosanhgia.com, không biết cái này có hơn gì không nhỉ?
  • join9x
    Cái beecost thấy ngoài xem lịch sử giá còn có phân tích Insight xịn sò. Không biết có mùi AI ở đây không ???? nhỉ
  • truongthanh23
    Có bác nào có kinh nghiệm bán hàng trên mấy trang này share em với. Em có tập tành mà thấy sp của mình toàn chìm sâu tận đâu đâu ấy
  • Firefly
    Coccoc nó chơi trò cướp xèng của Affiliater

    Thằng BeeCost này của 1 thằng thuộc coccoc làm cũng lại chơi trò đó.
  • hoanngo306
    cái ext này hay đó bác. cố gắng phát triển liên tục nhé!
  • nguyentan57
    Có mã giảm giá như thằng joinhoney ở nước ngoài thì hay
    Cứ cài extension là nó tự tìm mã giảm giá ngon nhất cho cơ
  • rubiak97
    Đọc tit hơi giật mình Hóa ra là của tiện ích bên thứ 3 à
Website liên kết