开源情报工具介绍

开源情报（OSINT）定义

开源情报是指合法地从公开和可公开获得的资源中收集数据和信息的做法。OSINT操作——无论是由IT安全专家、恶意行为者还是民族国家支持的情报人员所实施——使用先进的技术来搜索海量的可见数据，以找到满足他们需求的信息。

尽管下述许多OSINT工具是开源的，但本文中的“开源”并不是指开源软件运动；相反，它描述了被分析数据的公共性质。

OSINT在许多方面是操作安全（OPSEC）的镜像，在这个信息大爆炸的时代，OSINT对于密切关注有效信息显得至关重要。如果分析得当，这些数据可能会揭示破坏性的真相。IT安全部门越来越多地承担在自己的组织中执行OSINT操作以支持操作安全的任务。

如今，市场上大多数OSINT工具都提供下述三种关键功能，其中许多工具在某一特定领域表现得格外突出。

发现面向公众的资产

它们最常见的功能是帮助IT团队发现面向公众的资产，并绘制每个人所拥有的可能导致潜在攻击面的信息。一般来说，它们不会试图寻找程序漏洞或执行渗透测试之类的事情。它们的主要工作是记录某人可以在无需诉诸黑客攻击的情况下公开找到的有关公司资产的信息。

发现组织外的相关信息

一些OSINT工具执行的第二个功能是在组织外部（例如在社交媒体帖子中或在可能位于严格定义的网络之外的域和位置）寻找相关信息。那些进行了大量收购并获得了他们要合并的公司的 IT 资产的组织会发现此功能非常有用。鉴于社交媒体的急剧增长和流行，在公司范围之外寻找敏感信息可能对任何群体都有帮助。

将发现的信息整理成可操作的形式

最后，一些OSINT工具有助于将所有发现的信息整理和分组为有用且可操作的情报。为大型企业运行OSINT扫描可以产生数十万个结果，尤其是在包括内部和外部资产的情况下。整合所有数据并且能够优先处理最严重的问题将非常有帮助。

顶级OSINT工具（排名不分先后）

使用合适的OSINT工具可以帮助企业组织发现有关公司、员工、IT资产和其他可能被攻击者利用的机密或敏感数据信息，从而提高网络安全性。首先发现这些信息，然后隐藏或彻底删除它，可以帮助企业组织有效减少包含网络钓鱼攻击和拒绝服务攻击在内的一切攻击形式。

以下都是用于开源情报的一些顶级工具，我们将为大家介绍它们各自擅长的领域，以及各自的独到之处和能够为企业组织的网络安全工作带来的具体价值。

Maltego

Maltego通过使用开源情报技术查询诸如DNS记录、whois记录、搜索引擎、社交网络、各种在线API和元数据提取之类的源，来找到这些信息之间的链接。据悉，它可以在单个图中对多达10,000个对象进行链接分析。

Maltego提供了各种图形布局的结果，这些图形布局允许信息被聚合，并且关系被立即和准确地显示。即便隐藏关系相隔三或四度，也可检测到。

Maltego程序通过自动搜索不同的公共数据源来工作，因此用户可以单击一个按钮并执行多个查询，据悉，每次执行的查询可以返回多达12个实体。由于该程序使用公共接口来执行搜索，因此它几乎可以与任何具有公共接口的信息源兼容。

一旦收集到信息，Maltego 就会建立链接，以揭开姓名、电子邮件地址、别名、公司、网站、文档所有者、附属机构和其他可能对调查有用的信息之间的隐藏关系，或寻找潜在的未来问题。该程序本身在Java中运行，因此它适用于Windows、Mac和Linux平台。

该程序有一个免费版本，功能有限，称为Maltego CE。Maltego XL桌面版本每个实例运行 1,999美元。用于大规模商业用途的服务器安装起价为40,000美元，并附带完整的培训计划。

Mitaka

Mitaka作为Chrome扩展程序和Firefox插件提供，可让您从Web浏览器中搜索超过72个 IP 地址、域、URL、哈希、ASN、比特币钱包地址和各种入侵指标（IOC）的搜索引擎。

该扩展程序充当各种在线数据库的快捷方式，可以通过单击进行查询，从而节省您的时间。对于那些更喜欢有重点且更有限集合的人，也可以选择替代扩展Sputnik。

Spiderfoot

Spiderfoot是一款免费的OSINT侦察工具，它集成了多个数据源来收集和分析IP 地址、CIDR 范围、域和子域、ASN、电子邮件地址、电话号码、姓名和用户名、BTC 地址等。在 GitHub 上可用，Spiderfoot带有命令行界面和嵌入式Web服务器，用于提供直观的基于Web的GUI。

该应用程序本身带有200多个模块，非常适合红队侦察活动，以发现有关目标的更多信息或识别您或您的组织可能在互联网上无意暴露的内容。

Spyse

Spyse将自身描述为面向网络安全专业人士的“最完整的互联网资产注册中心”。Spyse 依赖于OWASP、IntelligenceX 和前面提到的Spiderfoot 等项目，收集有关网站、其所有者、相关服务器和IoT设备的公开数据。然后通过Spyse引擎对这些数据进行分析，以发现这些不同实体之间的任何安全风险和连接。

Spyse有免费计划可用，但对于计划使用Sypse API构建应用程序的开发人员，可能需要付费订阅。

BuiltWith

顾名思义，BuiltWith是一款帮你发现流行网站构建技术的工具。不同的技术堆栈和平台为不同的站点提供支持。例如，BuiltWith可以检测网站是否使用WordPress、Joomla或Drupal作为其内容管理系统（CMS），并提供更多详细信息。

BuiltWith还会生成一个网站使用的已知JavaScript/CSS库（例如jQuery或Bootstrap）的整洁列表。此外，该服务还提供安装在网站上的插件列表、框架、服务器信息、分析和跟踪信息等。BuiltWith可用于侦察目的。

更重要的是？将BuiltWith与WPScan等网站安全扫描程序结合使用（例如与WordPress漏洞数据库API集成）还可以用于发现影响网站的常见安全漏洞。

对于那些想要识别站点的主要技术堆栈的人来说，Wappalyzer可能更适合，因为它提供了更集中、更简洁的输出。亲自尝试BuiltWith和Wappalyzer，看看哪个更适合您的需求。

Intelligence X

Intelligence X 是同类首创的档案服务和搜索引擎，它不仅可以保留网页的历史版本，还可以保留由于内容令人反感或法律原因而从网络上删除的整个泄露数据集。尽管这听起来可能与 Internet Archive的Wayback Machine类似，但Intelligence X在服务重点保留的内容类型方面存在一些明显差异。在保留数据集方面，无论存在多大争议，Intelligence X 都一视同仁。

Intelligence X之前保留了超过49,000个Fortinet VPN 的列表，这些VPN被发现容易受到路径遍历缺陷的影响。本周晚些时候，这些VPN的明文密码也暴露在黑客论坛上，尽管后来这些数据已从这些论坛中删除，但仍被Intelligence X保留。

此前，该服务已经索引了从希拉里·克林顿（Hillary Clinton）和唐纳德·特朗普（Donald Trump）等著名政治人物的电子邮件服务器收集的数据。而Intelligence X最新索引的例子包括2021 年国会山骚乱的镜头以及Facebook 5.33 亿个人资料的数据泄露事件。

对于情报收集者、政治分析家、新闻记者和安全研究人员来说，此类信息在各个方面都具有难以言喻的价值。

DarkSearch.io

对于经常访问暗网的人来说，可能已经非常清楚应该在哪里寻找自己需要的信息，但对于那些新手来说，DarkSearch.io可以作为帮助其入门的好平台。与另一个暗网搜索引擎Ahmia一样，DarkSearch也是免费的，但带有用于运行自动搜索的免费API。

尽管Ahmia和DarkSearch都有.onion站点，但您不必一定要转到.onion版本或使用Tor来访问这些搜索引擎中的任何一个。您只需从常规网络浏览器访问darksearch.io即可搜索暗网。

Grep.app

您如何在互联网上搜索50万个git存储库？当然，您可以尝试 GitHub、GitLab 或 BitBucket 提供的单独搜索栏，但Grep.app可以非常高效地完成这项工作。事实上，最近Twitter用户和记者非常喜欢使用 Grep.app 来了解大约有多少存储库在使用Codecov Bash上传器：

在搜索潜伏于OSS存储库中的与IOC、易受攻击的代码或恶意软件（例如Octopus Scanner、Gitpaste-12或恶意的GitHub Action加密货币挖矿PR）相关的字符串时，Grep.app也能很好地发挥作用。

Recon-ng

使用Python工作的开发人员可以利用Recon-ng中的强大工具，该工具是用Python语言编写的。它的界面看起来与流行的Metasploit框架非常相似，从而可以减少那些有经验之人的学习曲线。它还具有许多Python模块缺乏的交互式帮助功能，因此开发人员应该能够快速上手。

Recon-ng可自动执行耗时的OSINT活动，例如剪切和粘贴。Recon-ng并没有声称所有OSINT收集都可以通过其工具进行，但它可以用于自动化许多最流行的收集类型，为仍然必须手动完成的事情留出更多时间。

它具有非常模块化的框架和许多内置功能，使得即便是最初级Python开发人员也可以创建公开可用数据的搜索并返回良好的结果。标准化输出、与数据库交互、发出Web请求和管理API密钥等常见任务都是界面的一部分。开发人员无需编写Recon-ng来执行搜索，只需选择他们希望其执行的功能，并在几分钟内构建一个自动化模块。

Recon-ng 是免费的开源软件。可用的wiki包括有关开始使用该工具的综合信息以及使用它的最佳实践。

theHarvester

作为此列表中最简单的工具之一，theHarvester旨在捕获存在于组织拥有的网络之外的公共信息。它也可以在内部网络上找到附带的东西，但它使用的大多数工具都是面向外部的。作为渗透测试或类似练习之前的侦察步骤，它将是有效的。

theHarvester 使用的来源包括流行的搜索引擎，如Bing和Google，以及鲜为人知的搜索引擎，如dogpile、DNSdumpster和Exalead元数据引擎。它还使用Netcraft Data Mining和 AlienVault Open Threat Exchange。它甚至可以利用Shodan搜索引擎来寻找已发现主机上的开放端口。通常，Harvester工具会收集电子邮件、名称、子域、IP和URL数据。

TheHarvester无需任何特殊准备即可访问大多数公共资源。但是，其使用的部分源可能需要API密钥。此外，您的环境中还必须有Python 3.6或更高版本。

任何人都可以在GitHub上获得 theHarvester。建议您在从那里克隆时使用virtualenv创建一个隔离的Python环境。

Shodan

Shodan是一个专用搜索引擎，用于查找有关设备的情报，例如构成物联网（IoT）的数十亿设备，这些设备通常无法搜索，但如今却无处不在。它还可用于查找目标系统上的开放端口和漏洞等内容。其他一些OSINT工具（如theHarvester）将其用作数据源，但想与Shodan深度交互必须要是付费帐户。

作为OSINT工作的一部分，Shodan可以监控和搜索的范围体量令人震惊。它是少数能够检查操作技术（OT，例如在发电厂和制造设施等地方的工业控制系统中使用的那种）的引擎之一。如果没有像Shodan这样的工具，任何在部署信息技术和OT的行业中收集OSINT的工作都会存在很大的缺失。

除了相机、建筑传感器和安全设备等物联网设备外，Shodan还可以查看数据库等内容，以了解是否有任何信息可通过主界面以外的路径公开访问。它甚至可以与视频游戏一起使用，发现诸如《我的世界》（Minecraft）或《反恐精英：全球攻势》（Counter-Strike: Global Offensive）服务器隐藏在公司网络中不应该存在的地方，以及它们产生的漏洞。

任何人都可以购买Freelancer许可证并使用Shodan每月扫描多达5,120个IP地址，并返回多达一百万个结果，每月只需花费59美元；需求更多的用户可以购买企业许可证，它提供无限的结果和每月最多300,000个IP的扫描。企业版每月收费899美元，其中还包括漏洞搜索过滤器和高级支持等服务。

Metagoofil

GitHub上另一款免费提供的工具Metagoofil已经经过了优化，可以从公共文档中提取元数据。Metagoofil可以调查其能够通过公共渠道访问的几乎任何类型的文件，包括.pfd、.doc、.ppt、.xls 和许多其他文件。

Metagoofil能够搜索返回诸如与发现的文档相关联的用户名以及真实姓名（如果可用）之类的内容。它还映射了如何访问这些文档的路径，而这些文档又会提供诸如服务器名称、共享资源和有关主机组织的目录树信息之类的内容。

Metagoofil发现的一切对于黑客来说都非常有用，他们可以用它来执行诸如发起暴力密码攻击甚至网络钓鱼电子邮件之类的事情。想要保护自己的组织可以使用与攻击者相同的OSINT工具来收集信息并在恶意行为者采取主动之前保护或隐藏它。

searchcode

对于那些需要真正深入了解OSINT收集的复杂矩阵的人来说，searchcode是一款高度专业化的搜索引擎，可以在源代码中寻找有用的情报。出人意料的是，这个强大的引擎出自一名开发人员之手。

由于在执行搜索之前需要首先将代码库添加到程序中，因此搜索代码跨越了OSINT工具和旨在查找公共信息以外事物的工具之间的界限。但它仍然可被视为一种OSINT工具，因为开发人员可以使用它来发现与正在运行的应用程序或仍在开发的应用程序上的代码内部可访问敏感信息相关的问题。在后一种情况下，可以在应用程序部署到生产环境之前修复这些问题。

用户只需输入他们的搜索字段，searchcode就会返回相关结果，并在代码行中突出显示搜索词。建议的搜索包括用户名、安全漏洞（如eval $_GET调用）、不需要的活动函数（如re.compile）以及可用于发起代码注入攻击的特殊字符。

大多数情况下，searchcode返回的结果都是不言自明的。但是，如果需要，可以单击这些结果以查找更深入的信息或匹配问题。

Babel X

用户想要获取的信息并非总是英文。根据相关数据显示，只有大约四分之一的互联网用户将英语作为他们的主要语言，尽管各种消息来源称多达55%的互联网内容是英语。您需要的信息可能是中文、西班牙文或泰米尔文。

Babel Street的Babel X是一款用于公共互联网（包括博客、社交媒体、留言板和新闻网站）的多语言搜索工具。它还可以搜索暗网（包括Onion 站点），以及可以通过内容所有者的协议或许可访问的一些深层网络内容。该产品能够对其找到的信息源进行地理定位，并且可以执行文本分析以识别相关结果。Babel X目前能够搜索200多种语言。

多语言搜索的有效用例包括搜索全球新闻以获得态势感知——例如，了解勒索软件攻击的目标趋势。它还可用于发现公司在外国网站上出售的知识产权，或显示关键合作伙伴已被泄露的信息。客户还使用Babel X在非英语留言板上查找可疑攻击者的用户句柄。

Babel X的主要产品是基于云的，允许客户通过添加自己的数据源进行搜索来定制它。Babel Box是一个本地版本，但缺少Babel X的一些功能，例如访问深层网络数据源。Babel Channels 是成本最低的选项，它是一个精选的数据源集合。移动应用程序可用于所有选项。

OSINT框架

虽然上述这些工具提供了丰富的OSINT数据，但还有许多其他工具和技术可以帮助您充分了解您组织的公共足迹。发现更多工具的绝佳资源是OSINT框架，它提供了一个基于Web的界面，可以细分OSINT研究人员感兴趣的不同主题领域，并将您连接到可以帮助您嗅探所需信息的工具。

OSINT框架推荐给您的工具都是免费的，尽管有些需要注册或提供功能更齐全的付费版本。有些只是帮助构建高级谷歌搜索的工具，可以产生惊人的信息量。OSINT框架由Justin Nordine维护，并在GitHub上有一个项目页面。

OSIN是非法的吗？

并非每一次黑客入侵都涉及高级持续威胁或深入、复杂的渗透。黑客和其他人一样，将采取最简单的途径达到他们的目标。如果他们想要的信息能通过可公开访问的渠道获得，则无需尝试通过数月的努力来破解严密的网络安全防线。至少，敏感信息可以用作获取有效凭证或帮助以较少的努力或风险实现有效入侵的捷径。

虽然OSINT技术经常被恶意行为者用作发起非法攻击之前的侦察工具，但在大多数情况下，这些工具和技术本身是完全合法的——毕竟，它们旨在帮助您掌握已发布或以其他方式公开的数据。甚至政府机构也被鼓励使用OSINT技术来发现其自身网络安全防御中的漏洞。

工具本身并无好坏之分，关键在于人如何使用它。因此，建议使用开源情报工具的相关企业或研究人员可以提前制定相应相关行为准则，合法、有边界地规范工具使用行为，从而更好地做好安全防御。