اسکرپ آگهی و املاک؛ داده زنده، فیلتر منطقه و تکراری‌ها

اگر می‌پرسید اسکرپ آگهی املاک چیست، پاسخ این است: برداشت ساخت‌یافتهٔ آگهی‌های عمومی مجاز — نوع ملک، محله، قیمت اعلام‌شده، متراژ در صورت نمایش، URL و زمان مشاهده — برای پایش بازار یا تغذیهٔ سیستم داخلی؛ نه کپی آگهی دیوار روی سایت شما و نه دورزدن ورود. آگهی دادهٔ کهنه و تکراری زیاد دارد. بدون فیلتر منطقه، حذف تکراری و سیاست انقضا، فایل شما از خودِ منبع شلوغ‌تر می‌شود.

پیشنهاد گوگل و جست‌وجوهای نزدیک معمولاً این‌اند: «اسکرپ آگهی املاک»، «استخراج آگهی منطقه»، «حذف آگهی تکراری»، «آگهی منقضی»، «داده زنده ملک» و «پایش فایل رقبا». در این راهنما تعریف، فیلتر منطقه، تکراری‌ها، دادهٔ منقضی و رعایت منبع را می‌نویسیم. دیده شدن آژانس خودتان را در سئو صفحه محله املاک جدا نگه دارید، زیرساخت listing را در طراحی سایت املاک، و استخراج مجاز را در اسکرپ داده روبینش.

A RealEstateListing is a listing that describes one or more real-estate Offers (individual real-estate listings may be also described using Offer).

اسکرپ آگهی چیست و چه چیزی نیست؟

اسکرپ آگهی یعنی از صفحهٔ عمومی آگهی، فیلدهای قابل مقایسه را به رکورد تبدیل کنید. خریدار و مشاور با «آپارتمان در [محله]» و کد فایل فکر می‌کنند؛ سیستم شما باید همان را به ستون تبدیل کند نه به یک پاراگراف. این کار با ساختن صد صفحهٔ زامبی روی دامنهٔ شما که همان متن پلتفرم را تکرار می‌کند یکی نیست. آن الگو هم سئو را رقیق می‌کند هم اعتماد را. صفحات ضعیف را در زامبی پیج ببینید.

آگهی اغلب دادهٔ تماس دارد. شمارهٔ موبایل و نام فرد دادهٔ شخصی است. این مقاله جمع‌آوری دفترچه تلفن را پوشش نمی‌دهد. محدوده را روی مشخصات ملک عمومی بگذارید مگر مبنای حقوقی جدا دارید. مرز را در راهنمای قانونی بودن اسکرپینگ بخوانید. ورود به حساب، دورزدن محدودیت و فشار روی سرویس آگهی خارج از این متن است.

پلتفرم آگهی معمولاً شرایط استفادهٔ سخت‌گیرانه دارد. صفحهٔ باز در مرورگر مساوی خوراک انبوه نیست. اگر API یا همکاری رسمی هست، همان اول است. اگر نیست، حجم را کوچک، نرخ را آرام، و هدف را تحلیل داخلی نگه دارید نه آینهٔ کامل بازار.

فیلتر منطقه را در داده بگذارید نه فقط در ذهن

بازار املاک محلی است. یک فایل سراسری بدون ستون منطقه، میانگین بی‌معنی می‌سازد. فیلتر منطقه یعنی در برداشت، محدودهٔ جغرافیایی توافق‌شده را از URL، برچسب محله یا نقشهٔ اعلامی صفحه بخوانید و در رکورد ذخیره کنید. ترکیب فیلتر بی‌پایان روی سایت مقصد — هر خیابان با هر متراژ — هم خزیدن را منفجر می‌کند هم ToS را نزدیک‌تر به نقض. محدوده را از قبل ببندید: چند محله، یک نوع معامله، یک بازهٔ قیمت.

روی سایت خودتان هم فیلتر منطقه URL می‌سازد. آن را با اسکرپ قاطی نکنید. آرشیو ایندکس‌پذیر محله کار سئو است؛ برداشت از پلتفرم دیگر کار داده است. سیاست فیلتر خودتان را در سئو سایت املاک ببینید. گردشگری هم فیلتر مقصد و تاریخ دارد؛ الگوی زامبی فیلتر را در طراحی سایت گردشگری جدا بخوانید تا این صفحه روی آگهی ملک بماند.

حذف تکراری‌ها را جدی بگیرید

یک ملک چند بار آگهی می‌شود: مشاورهای مختلف، عکس یکسان، عنوان جابه‌جا. بدون حذف تکراری، «عرضه» را دوبرابر می‌شمارید. کلید تقریبی می‌تواند ترکیب محله + متراژ + قیمت گردشده + الگوی تصویر باشد؛ قطعی نیست. رکورد نزدیک را برای بازبینی بگذارید. ادغام خودکار بدون شاهد، فایل رقیب را به‌اشتباه یکی می‌کند.

URL آگهی را نرمال کنید: پارامتر ردیابی را جدا کنید تا همان فایل دو ردیف نشود. اگر پلتفرم شناسهٔ پایدار در URL دارد، همان را کلید منبع بگیرید. اجرای بعد باید همان کلید را به‌روز کند نه ردیف جدید بسازد. این همان منطق تطبیق کالا است با پیچیدگی بیشتر؛ الگوی کلید را در استخراج داده محصول ببینید و اینجا روی ملک پیاده کنید.

داده منقضی را از زنده جدا کنید

آگهی فروخته، اجاره‌رفته یا حذف‌شده اگر در گزارش «موجود» بماند، مشاور را فریب می‌دهد. هر اجرا وضعیت را بنویسید: دیده شد، صفحه ۴۰۴، متن «تکمیل شد». تاریخ آخرین مشاهدهٔ موفق را نگه دارید؛ نرمال ISO را در پاک‌سازی تاریخ و منطقه ببینید. فایل کهنه را در تحلیل عرضه فعال نگذارید. روی سایت خودتان هم آگهی مرده را ایندکس نکنید؛ همان را در سئو املاک گفته‌ایم. اسکرپ فقط باید همان حقیقت را در جدول داخلی منعکس کند.

تازگی با فشار به منبع یکی نیست. بازه را از نوسان همان محله بگیرید. محلهٔ پرمعامله ممکن است روزانه لازم باشد؛ ویلای کم‌گردش هفته‌ای یک‌بار. کرالر زمان‌بندی را در راهنمای خزنده وب توضیح می‌دهد. اگر صفحه با جاوااسکریپت کارت را می‌آورد، رندر انتخابی را در Playwright ببینید — باز هم بدون شکستن قفل.

رعایت منبع یعنی چه؟

رعایت منبع یعنی robots و ToS را بخوانید، نرخ را پایین نگه دارید، هویت ربات را پنهان نکنید تا اختلال ایجاد کنید، و داده را برای آینهٔ عمومی همان آگهی‌ها بازنشر نکنید. نقل‌قول قیمت بازار در گزارش داخلی با ساختن پورتال موازی فرق دارد. عکس آگهی را بدون مجوز روی دامنهٔ خودتان نگذارید.

اگر هدف‌تان جذب مستاجر از گوگل است، اسکرپ رقیب آن را نمی‌سازد. صفحهٔ محله و آگهی زندهٔ خودتان با عکس و کد فایل می‌سازد. اسکرپ حداکثر به شما می‌گوید در آن محله چند فایل فعال دیده شده و قیمت اعلامی چه بازه‌ای داشته — با خطای تطبیق و انقضا. تصمیم قیمت‌گذاری را به یک منبع منفرد و بدون بازبینی نسپارید.

اشتباهات رایج اسکرپ آگهی

• برداشت شماره تماس به‌عنوان فیلد پیش‌فرض
• خزیدن همهٔ ترکیب‌های فیلتر
• شمردن تکراری به‌عنوان عرضهٔ جدید
• نگه‌داشتن آگهی حذف‌شده در گزارش فعال
• بازنشر متن و عکس پلتفرم روی سایت آژانس
• یکی‌دانستن اسکرپ با سئو املاک
• قول پوشش لحظه‌ای همهٔ شهر

چک‌لیست قبل از اسکرپ آگهی

1. هدف پایش داخلی است نه آینهٔ پلتفرم.
2. محله و نوع معامله محدود شده‌اند.
3. دادهٔ تماس از محدوده خارج است مگر مجوز جدا.
4. کلید تکراری و صف بررسی تعریف شده است.
5. وضعیت انقضا در هر اجرا نوشته می‌شود.
6. نرخ درخواست با حجم محله می‌خواند.
7. خروجی به صفحهٔ سئو مشتری وصل نمی‌شود.
8. robots و ToS منبع خوانده شده‌اند.

جمع‌بندی: منطقه، تکرار، انقضا

اسکرپ آگهی املاک یعنی رکورد عمومی ملک با زمان و وضعیت، برای فهم بازار. فیلتر منطقه محدوده می‌سازد. تکراری عرضه را دروغ می‌کند. منقضی اعتماد را می‌کشد. سئو آژانس روی سایت خودتان می‌ماند. پوشش کامل شهر و رتبه وعده نیست.

اگر می‌خواهید محدودهٔ محله و فیلد را روی پروژهٔ مجاز بگذارید، از صفحه اسکرپ داده روبینش، طراحی سایت املاک و فرم مشاوره شروع کنید. این مقاله تعرفه و مشاورهٔ حقوقی نیست. یک محله با حذف تکراری و وضعیت زنده، از کل‌شهر بدون انقضا برای جلسهٔ بعد مفیدتر است.