shiqi

There are many lib for reinforcement learning, the most popular one is gym by openai, which can provide single agent env for rl. And there…

简介：！终于赚到了更多的！

简介：花了47分钟，让收益为正数！ 同时买了新的地块！修建了很多居民区。

排列组合 "n 个球放入 m 个盒子 m" 问题。 球以及盒子有不能区分，和能区分两种属性。题目还能分成是否能有空箱子所以一共是 8 种情况。 注意 文中的 C (n,m) 可以读作 n choose m ，即为 n 选 m。应该是 n 在上，m 在下。 Copy \binom…

介绍 文档 https://stable-baselines3.readthedocs.io/en/master/guide/install.html 表格 下面的表格基本不能看，因为是 AIGC，网页都是错乱的。…

每周周报 资源 文献 最近了解到一些开放的数据库： zlibrary 安娜的档案 https://zh.annas-archive.se/ 教科书 肖哥 edu 做 CS 免费教育的，可以一看 工具 markdown2wechat 工具 https://md…

简介：！本期录制声音有点低！下次钻研人声！

简介：开始学习剪辑+玩游戏！ 在城市天际线构建一个现代化的小村庄！

记录自己conda clean all后的重新设置方法 值得注意的是建议直连清华源 更换 conda 的镜像源到清华源可以显著提高国内用户的下载和更新速度。以下是更换到清华源的步骤： 打开 Anaconda Prompt（或命令行终端）。 添加清华源的通道…

最近尝试 connect 了自己的 Jike 账号。发现自己在电子世界好渺小，只有不到 500kB。 顿时有一种想要让自己更努力的愿望。 希望以后： 可以更加努力沉淀 可以有更多的记录 可以输出更多

这是一个双页面发布测试。 将尝试复现同时发布两个 xlog 文章的现象。 经过测试，如果双开网页编辑器，不会导致 slug 相同且发布出两个相同文章（注意链上 id 不同） 但是最近（2024 年 4 月 16 日）确实发生了。

最近卸载了不少软件。记录一下，希望以后可以用上。 实际上卸载软件是对个人的重新定位。 2024 年 4 月 15 日

本文为 TorchRL 的学习笔记。相对路径不会修改。标题也尽量不修改。 关键组件 TorchRL（PyTorch 强化学习库）中有六个关键组件，它们在构建和训练强化学习模型时发挥着重要作用。下面是对每个组件的简要解释： environments（环境）：环境是指模拟智能体与…

目前（2024 年 4 月 14 日），xlog 有两个语言设置。 第一套设置在 xlog.app 主站上，一直滑动到页面底端。 第二套设置在个人的 xlog 站点上，就在右下角。 两个语言设置控制的范围不同。 xlog.app 的语言设置导致了 xlog.app 主页语言…

在强化学习中，State×Action 叉乘通常是指在状态空间和动作空间上的笛卡尔积，它产生一个包含所有可能状态 - 动作对的集合。 假设我们有一个状态空间 S，其中包含 s1, s2, ..., sn 这些状态，以及一个动作空间 A，其中包含 a1, a2, ..., am…

namedtuple (命名元组) 是 Python 标准库中的一个数据结构，位于 collections 模块中。它是一个工厂函数，用于创建带有字段名的元组，使得元组的字段可以像对象属性一样访问，而不需要使用索引。 使用 namedtuple 可以方便地定义一个具有字段名的元组…

本文 是程序员读书会的第一次会议记录。算是流水账。喜欢的朋友可以自行搜索相关知识。 The book of Why pywhy.org Casual ML 因果性 prolog neo4j graph DB 决策树 相关性 OMNX anylogic 书籍分…

今儿一大早起来看 Crossbell 的 Discord 社群发生了啥。结果看到一个 "新人" 用 announcement 的名号来发了很多信息，同时联想到昨晚 colib 即将发布，我就很自然的以为是来了新的 bot。 作为 Web3 小白，点进去一看是免费 NFT 的…