AgentShield Bench
بنچمارک امنیت عامل — بنچمارک امنیت عاملهای هوش مصنوعی در tool-calling و MCP — تزریق پرامپت، سوءاستفاده از ابزار و مقایسه متریک حمله.
Interactive Sample Demoبرای مدیر: نتیجه کسبوکار
عامل tool-calling بدون آزمون خصمانه وارد MCP و ابزار سازمانی میشود.
سناریوهای حمله، گراف فراخوانی ابزار، مقایسه عاملها و متریکهای ASR/BTCR/FRR روی بنچمارک.
- ۱۱ دسته حمله
- tool-calling + MCP
- طبقهبندهای SetFit
- گراف فراخوانی
«قبل از اتصال عامل به ابزار واقعی، حمله را روی نیمکت بسنجید.»
مستندات عمومی
چه میکند؟
AgentShield Bench یکی از محصولات پورتفولیوی هوش مصنوعی آریا اِیآی است. نسخه عمومی روی Hugging Face یک دموی نمونه است؛ نسخه تولید با یکپارچهسازی داده، SSO و audit trail استقرار مییابد.
بنچمارک امنیت عاملهای هوش مصنوعی در tool-calling و MCP — تزریق پرامپت، سوءاستفاده از ابزار و مقایسه متریک حمله.
درخواست پایلوت از طریق فرم تماس سایت با ذکر علاقه به AgentShield Bench ثبت میشود تا محدوده داده، قیود و معیار موفقیت مشخص گردد.
چه کسی از آن استفاده میکند؟
تیم امنیت محصول، سازندگان عامل سازمانی و کسانی که MCP یا tool-calling را به سیستم داخلی وصل میکنند.
خروجی دمو «نمونه تعاملی» است؛ آپلود زنده فایل سازمانی روی Space عمومی توصیه نمیشود.
کاربرد در صنایع
امنیت محصول AI
آزمون خصمانه عامل قبل از تولید.
SOC / AI SOC
سیاست ابزار و تزریق پرامپت.
پلتفرم MCP
ارزیابی misuse و excessive agency.
حاکمیت مدل
متریک ASR، FRR و مقایسه عامل.
توسعه عامل
دمو طبقهبند روی ورودی سفارشی.
پژوهش
مجموعه سناریو و مدلهای AgentShield.
برای مهندس: Pipeline و معماری
Scenario → agent + tools/MCP → classifiers → ASR/BTCR/FRR dashboard
معماری مرجع از README اسپیس روی Hugging Face پیروی میکند. استقرار تولید با Docker، متغیر محیطی و اتصال به سامانه موجود انجام میشود.
پشته فنی
- Python
- SetFit
- Gradio
- sentence-transformers
متریکهای قابل بازتولید
| بنچمارک | جزئیات | نتیجه |
|---|---|---|
| Attacks | 11 categories | injection → skill poison |
| Classifiers | prompt / tool / trust / policy | SetFit |
| Bench | ASR BTCR FRR SLR | comparison |
| Agent | secure-agent demo | tool graph |
سوالات پرتکرار
AgentShield Bench چیست و چه مسئلهای را حل میکند؟
نیمکت ارزیابی امنیت عاملهای tool-calling و MCP با طبقهبندهای تزریق پرامپت، ریسک ابزار و سیاست.
آیا میتوان داده واقعی سازمان را در دمو عمومی وارد کرد؟
خیر. دمو عمومی برای نمونههای ازپیشمحاسبهشده یا داده ترکیبی است. داده production باید در استقرار on-prem یا VPC با کنترل دسترسی وارد شود.
آیا این محصول جایگزین سامانه فعلی میشود؟
نمونه اولیه (POC) برای ارزیابی امنیت عامل است و جایگزین کنترل دسترسی، sandbox و سیاست سازمانی نیست.
متریکهای صفحه از کجا آمدهاند؟
از README و کارت مدل/اسپیس روی Hugging Face؛ اعداد بنچمارک را با داده سازمان خود در پایلوت بازسنجی کنید.
لینکهای Hugging Face
درخواست پایلوت
برای استقرار on-prem، یکپارچهسازی با سامانههای موجود یا fine-tune روی داده سازمان خود تماس بگیرید.