Để mọi người có thể tìm kiếm được website của bạn trên Google thì Google phải lập chỉ mục trang web của bạn. Nếu trang web của bạn không được lập chỉ mục thì sẽ không ai tìm kiếm được website của bạn thông qua công cụ tìm kiếm. Và tất nhiên khi không thể tìm kiếm được qua các công cụ tìm kiếm thì website của bạn sẽ mất đi một lượng truy cập không hề nhỏ.
Bước đầu tiên để khắc phục sự cố lập chỉ mục là chẩn đoán sự cố lập chỉ mục. Danh sách này sẽ giúp bạn làm điều đó.
1. Trang web của bạn được lập chỉ mục theo tên miền www hoặc non www
Về mặt kỹ thuật www là một tên miền phụ. Do đó về mặt kĩ thuật, https://bkhost.vn không giống như http://www.bkhost.vn. Hãy luôn đảm bảo bạn đã thêm bản ghi và redirect www về non www hoặc ngược lại. Hãy cho google biết thực sự bạn đang dùng tên miền nào cho website của bạn.
2. Google chưa thể tìm thấy trang web của bạn
Đây thường là một vấn đề với các trang web mới. Hãy chờ vài ngày (ít nhất), nhưng nếu Google vẫn chưa lập chỉ mục trang web của bạn, hãy đảm bảo sơ đồ trang web của bạn được tải lên và hoạt động đúng. Nếu bạn chưa tạo hoặc gửi sơ đồ trang web, đây có thể là vấn đề của bạn. Bạn cũng nên yêu cầu Google thu thập dữ liệu và tìm nạp trang web của bạn. Dưới đây là hướng dẫn của Google về cách thực hiện điều đó:
Hãy sử dụng công cụ Kiểm tra URL để gửi các URL riêng lẻ đến chỉ mục của Google. Xin lưu ý rằng nếu có số lượng URL lớn, bạn nên gửi sơ đồ trang web.
Để gửi URL đến chỉ mục, hãy làm như sau:
- Kiểm tra URL bằng cách sử dụng công cụ Kiểm tra URL.
- Chọn Yêu cầu lập chỉ mục. Công cụ sẽ chạy quy trình kiểm tra trực tiếp trên URL để xem liệu URL này có bất kỳ vấn đề lập chỉ mục rõ ràng nào hay không. Nếu không có vấn đề nào, trang sẽ được đưa vào hàng đợi lập chỉ mục. Nếu công cụ tìm thấy vấn đề với trang, thì bạn nên cố gắng khắc phục các vấn đề đó.
Hoặc bạn có thể theo dõi bài viết này để xem hướng dẫn submit url lên google nhanh nhất.
3. Trang web bị chặn với robot.txt
Một vấn đề khác là website của bạn đã chặn index bằng robot.txt. Điều này hoàn toàn có thể sửa dễ dàng. Chỉ cần xóa mục nhập khỏi tệp robots.txt và trang web của bạn sẽ xuất hiện lại trong chỉ mục.
4. Bạn không có sitemap.xml
Mỗi trang web nên tạo trang sitemap.xml, đây là một bản đồ đơn giản để bot của Google đi theo và lập chỉ mục trang web của bạn. Bạn có thể đọc về chính sách Sơ đồ trang web của Google và tạo một chính sách khá dễ dàng .
Nếu bạn đang gặp vấn đề về lập chỉ mục trên bất kỳ phần nào trên trang web của mình, tôi khuyên bạn nên sửa đổi và gửi lại sơ đồ trang web của bạn chỉ để đảm bảo.
5. Bạn có lỗi thu thập dữ liệu trên website
Trong một số trường hợp, Google sẽ không lập chỉ mục một số trang trên trang web của bạn vì nó không thể thu thập dữ liệu chúng. Mặc dù đôi khi con bot không thể lập chỉ mục cho website thì nó vẫn có thể nhìn thấy chúng.
Để xác định các lỗi thu thập dữ liệu này, hãy truy cập Google Search Console → Chọn trang web của bạn, → Nhấp vào Kiểm tra URL → Nhấp vào yêu cầu lập chỉ mục. Nếu bạn có bất kỳ lỗi nào thì hệ thống sẽ trả về cho bạn.
6. Bạn có nhiều nội dung trùng lặp với các website khác
Quá nhiều nội dung trùng lặp trên một trang web có thể gây nhầm lẫn cho các công cụ tìm kiếm và khiến chúng bỏ cuộc khi lập chỉ mục trang web của bạn. Nếu nhiều URL trên trang web của bạn đang trả lại cùng một nội dung, thì bạn có vấn đề trùng lặp nội dung trên trang web của mình. Để khắc phục sự cố này, chọn trang bạn muốn giữ và 301 phần còn lại.
Đôi khi nó có ý nghĩa để chuẩn hóa các trang, nhưng hãy cẩn thận. Một số trang web đã báo cáo rằng một vấn đề chuẩn hóa nhầm lẫn đã ngăn chặn việc lập chỉ mục.
7. Bật tương tác với các công cụ tìm kiếm trong WPress
Nếu bạn có một trang web WordPress, bạn đã có thể vô tình click vào phần tương tác với công cụ tìm kiếm. Chuyển đến Quản trị viên → Cài đặt → Đọc để kiểm tra.
8. Trang web bị chặn bởi .htaccess
Tệp .htaccess của bạn là một phần của sự tồn tại của trang web của bạn trên máy chủ, cho phép tệp này có sẵn trên web trên toàn thế giới. Tệp .htaccess được viết bằng Apache. Mặc dù .htacess rất tiện dụng và hữu ích, nhưng nó có thể được sử dụng để chặn các trình thu thập thông tin và ngăn chặn việc lập chỉ mục.
9. Trang web có trong thẻ Meta NOINDEX
Một cách để chặn con bot có thể truy cập vào website là có các thẻ meta noindex. Nó thường trông như thế này:
<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>
Xóa dòng mã này và bạn sẽ được bot quay lại ngay tức khắc.
10. Bạn có vấn đề AJAX / JavaScript không?
Google không index JavaScript và AJAX. Nhưng những ngôn ngữ này không dễ lập chỉ mục như HTML. Vì vậy, nếu bạn định cấu hình không chính xác các trang AJAX và thực thi JavaScript, Google sẽ không lập chỉ mục trang .
11. Trang web của bạn cần tải dung lượng quá nhiều
Google không thích nó nếu trang web của bạn mất thời gian tải quá quá lâu. Nếu trình thu thập thông tin gặp thời gian tải tối đa, có thể nó sẽ không lập chỉ mục trang web.
12. Bạn có Hosting Down Times chưa?
Nếu trình thu thập thông tin không thể truy cập trang web của bạn, họ sẽ không lập chỉ mục cho nó. Điều này là đủ rõ ràng, nhưng tại sao nó xảy ra? Kiểm tra kết nối của bạn. Nếu máy chủ của bạn ngừng hoạt động thường xuyên, có thể trang web sẽ không được thu thập thông tin. Và đó là lúc bạn nên lựa chọn một nhà cung cấp hosting mới.
–> Hosting BKHOST chất lượng cao đảm bảo thời gian hoạt động lên đến 99,9%.
13. Bạn đã bị Google loại bỏ và không cho hiển thị
Điều này thực sự là một tin vô cùng xấu đối với bạn.
Nếu bạn bị phạt với một hình phạt thủ công và bị xóa khỏi chỉ mục, có lẽ bạn đã biết về nó. Nếu bạn có một trang web có lịch sử mờ ám (mà bạn không biết) thì đó có thể là một hình phạt thủ công ẩn giấu đang ngăn chặn việc lập chỉ mục.
Nếu trang web của bạn bị cấm chỉ mục, bạn sẽ phải làm việc rất chăm chỉ để đưa nó trở lại.
P/s: Bạn cũng có thể truy cập vào Blog của BKHOST để đọc thêm các bài viết chia sẻ kiến thức về lập trình, quản trị mạng, website, domain, hosting, vps, server, email,… Chúc bạn thành công.