机设——Neo4j

什么是 Neo4j?

Neo4j 是一个开源的图形数据库,由 Neo4j 公司开发和维护。作为图数据库的代表,Neo4j 使用图理论中的节点和边(关系)来表示和存储数据,相较于传统的关系型数据库(如 MySQL、PostgreSQL)和其他 NoSQL 数据库(如文档型、键值型数据库),Neo4j 在处理复杂关系和连接性强的数据方面具有显著优势。

主要特点:

  • 图模型:使用节点、关系和属性来建模数据,直观地反映实体及其之间的关联。
  • Cypher 查询语言:专为图数据库设计的声明式查询语言,语法简洁,易于表达复杂的图形查询。
  • 高性能:优化的存储和索引机制,能够高效地处理大规模图数据和复杂查询。
  • ACID 事务支持:保证数据的一致性和可靠性,适用于需要强事务保障的应用场景。

为什么需要 Neo4j?

在许多应用场景中,数据之间存在复杂的关系和连接性。传统的关系型数据库在处理多层级的关联查询时,往往需要大量的联接操作(JOIN),这会导致查询性能下降,尤其是在数据规模庞大时。而 Neo4j 通过图模型天然适合表示和处理这种高度连接的数据,能够更高效地执行复杂的关系查询。

主要需求原因:

  1. 复杂关系处理:需要频繁进行多级关联查询,如社交网络、推荐系统等。
  2. 灵活的数据模型:数据结构可能随时间变化,图数据库提供了更大的灵活性。
  3. 性能需求:需要在大规模数据集上执行快速的关系查询和遍历操作。
  4. 实时性:需要实时分析和处理数据关系,如欺诈检测、网络安全等。
ed250b8ea580015278be07a9233448c2

GraphRAG的理解

GraphRAG=Graph(知识图谱)+RAG技术

GraphRAG 是一种结合了图结构检索增强生成(RAG)的方法,旨在增强语言模型(如大规模预训练的变换器模型)的推理能力和信息检索能力。这个方法通常用于处理复杂的推理任务,尤其是当涉及到大规模知识库或图形数据时,GraphRAG可以通过图的结构来有效地组织信息,从而提高模型在生成和推理时的效率和准确性。

图结构(Graph)

  • 通常用于表示节点之间的关系和依赖,在处理复杂知识结构时非常有用。在GraphRAG中,图结构帮助捕捉信息之间的关系,能够有效地组织和链接不同的知识点,尤其是在涉及多个实体和关系的任务中。

检索增强生成(RAG)

  • RAG 是一种将信息检索与生成模型结合的框架。它的核心思想是,模型在生成答案时不仅仅依赖于其预训练时获得的知识,还会从一个外部数据库或文档库中检索相关的信息来增强回答的准确性和上下文适应性。

Neo4j的安装

  1. 官网下载社区版
  2. 安装JDK,java11
  3. 配置环境变量
  4. 启动Neo4j
1
2
3
4
5
6
7
8
9
常用命令
# 启动服务
neo4j(.bat) start
# 重启服务
neo4j(.bat) restart
# 停止服务
neo4j(.bat) stop
# 控制台模式启动
neo4j(.bat) console
  1. 进入到 http://localhost:7474

账号密码 neo4j zxj03051218

第一次进入前安装neo4j 的服务

1
neo4j install-service

查看版本 neo4j –version

apoc用处

数据导入和导出:使用APOC插件可以轻松导入和导出不同格式的数据到Neo4j图数据库。您可以将数据从关系型数据库、CSV文件、JSON等转换为图形数据,并相反地,将图形数据导出到其他格式。 图形算法:APOC提供了许多有用的图形算法,如PageRank、社区发现(例如Louvain算法),路径分析等。这些算法可以帮助您发现数据之间的关联性和模式,并从中提取有价值的信息。 数据清洗和转换:APOC提供了丰富的过程和函数,用于数据清洗和转换。您可以使用它来处理字符串、时间、密码学等方面的数据,并进行必要的清洗和格式化。 可视化:APOC支持将图形数据转换为其他可视化工具所需的格式,例如Gephi、D3.js等。这使得您可以将您的图形数据以更直观的方式呈现,进一步探索和交流。 地理空间分析:APOC提供了与地理空间数据相关的功能,如计算两个地点之间的距离、查找附近的地点等。这对于在地理空间上分析和查询数据特别有用。

我应该是主要用到了数据导入和导出的功能,因为要将构建好的所以传到本地neo4j上

apoc插件安装

知识图谱基本工具Neo4j使用笔记 五 :APOC插件安装及简单应用_neo4j apoc-CSDN博客

版本 neo4j 4.4.39

APOC插件下载:apoc-4.4.0.9-all.jar(注意apoc要与neo4j版本对应)

Releases · neo4j/apoc

将下载的 apoc-4.4.0.9-all.jar 直接复制到neo4j/plugins文件夹

修改APOC的配置文件

打开配置文件将,这一下内容的注释去掉

1
dbms.security.procedures.unrestricted=apoc.*

参考文献

java - 我的Neo4j探索之旅 - 初识Neo4j(一) - 个人文章 - SegmentFault 思否