پروژه های جدید منبع باز robots.txt

سال گذشته ما تجزیه کننده و تطبیق robots.txt را که در سیستم های تولیدی خود به دنیای منبع باز استفاده می کنیم منتشر کردیم. از آن زمان ، ما شاهدیم که مردم ابزارهای جدیدی را با آن می سازند ، به کتابخانه منبع آزاد کمک می کنند (به طور م systemsثر سیستم های تولید ما را بهبود می بخشیم – با تشکر!) ، و نسخه های جدید زبان مانند golang و زنگ را منتشر می کنیم ، که ساخت جدید را برای توسعه دهندگان آسان می کند ابزار

با پایان یافتن فصل کارآموزان در Google ، ما می خواهیم دو نسخه جدید مربوط به robots.txt را برجسته کنیم که توسط دو کارآموز که در تیم جستجوی منبع باز ، Andreea Dutulescu و Ian Dolzhanskii کار می کردند ، امکان پذیر شد.

تست مشخصات Robots.txt

ابتدا ، ما یک چارچوب تست برای توسعه دهندگان تجزیه کننده robots.txt ، ایجاد شده توسط Andreea ، آزاد می کنیم. این پروژه ابزاری را برای آزمایش فراهم می کند که می تواند تأیید کند آیا تجزیه کننده robots.txt از پروتکل استثنا Rob روبات ها پیروی می کند یا تا چه اندازه در حال حاضر هیچ روش رسمی و کاملی برای ارزیابی صحت تجزیه کننده وجود ندارد ، بنابراین Andreea ابزاری ساخت که می تواند برای ایجاد تجزیه کننده های robots.txt استفاده شود که پروتکل را دنبال می کنند.

تجزیه کننده و تطبیق دهنده robots.txt جاوا

دوم ، ما در حال آزاد کردن یک پورت رسمی جاوا از تجزیه کننده robots.txt C ++ ، ایجاد شده توسط Ian هستیم. جاوا سومین زبان برنامه نویسی محبوب در GitHub است و به طور گسترده در Google نیز مورد استفاده قرار می گیرد ، بنابراین جای تعجب نیست که بیشترین درخواست درگاه زبان بوده است. تجزیه کننده از لحاظ عملکرد و رفتار ترجمه 1 به 1 تجزیه کننده C ++ است و از نظر برابری در برابر تعداد زیادی از قوانین robots.txt کاملاً آزمایش شده است. تیم ها در حال برنامه ریزی برای استفاده از تجزیه کننده robots.txt جاوا در سیستم های تولید Google هستند و امیدواریم که برای شما نیز مفید باشد.

طبق معمول ، ما از مشارکت شما در این پروژه ها استقبال می کنیم. اگر با تجزیه کننده robots.txt C ++ یا با این نسخه های جدید چیزی ساخته اید ، به ما اطلاع دهید تا بتوانیم به طور بالقوه به شما در انتشار این خبر کمک کنیم! اگر مشکلی پیدا کردید ، با باز کردن مشکلی در GitHub یا مشارکت مستقیم در درخواست جلب ، به ما کمک کنید تا آن را برطرف کنیم. اگر در مورد این پروژه ها س questionsال یا نظری دارید ، ما را در این زمینه جلب کنید توییتر!

واقعاً لذت بردن از میزبانی اندریا و یان بود و ما از پایان دوره کارآموزی آنها ناراحت هستیم. مشارکت آنها کمک می کند اینترنت به مکان بهتری تبدیل شود و امیدواریم که در آینده بتوانیم از آنها برای بازگشت به Google استقبال کنیم.