本文為 TorchRL 的學習筆記。相對路徑不會修改。標題也盡量不修改。
關鍵組件#
TorchRL（PyTorch 強化學習庫）中有六個關鍵組件，它們在構建和訓練強化學習模型時發揮著重要作用。下面是對每個組件的簡要解釋：
-
environments（環境）：環境是指模擬智能體與外部世界進行交互的模型。在強化學習中，環境定義了智能體可以觀察到的狀態、可以採取的動作以及動作執行後的獎勵反饋。例如，經典的強化學習環境包括 OpenAI Gym 中的 CartPole、Atari 遊戲等。在 TorchRL 中，環境模塊提供了與環境進行交互的介面，並且通常包括環境的狀態空間、動作空間等信息。
-
transforms（轉換）：轉換是對環境狀態進行預處理或轉換的操作。例如，可以將原始像素圖像轉換為特徵向量，以供神經網絡模型處理。轉換可以幫助提取環境中的重要特徵，從而更有效地進行學習。在 TorchRL 中，轉換模塊提供了一系列預定義的轉換函數，用於對環境狀態進行處理。
-
models（模型）：模型包括策略模型和值函數模型，用於表示智能體的策略和值函數。策略模型定義了智能體在給定狀態下選擇動作的概率分佈，值函數模型用於估計狀態的值或狀態 - 動作對的值。在 TorchRL 中，模型模塊提供了一系列預定義的神經網絡模型，用於構建策略模型和值函數模型。
-
loss modules（損失模塊）：損失模塊定義了強化學習算法中的損失函數，用於衡量模型預測值與真實值之間的差異，並通過梯度下降來更新模型參數。在 TorchRL 中，損失模塊提供了一系列預定義的損失函數，包括策略損失和值函數損失。
-
data collectors（數據收集器）：數據收集器負責從環境中收集數據，並將數據存儲到經驗回放緩衝區中，以供模型訓練時使用。數據收集器通常實現了不同的採樣策略，例如隨機採樣、優先級採樣等，以提高數據的利用效率。在 TorchRL 中，數據收集器模塊提供了一系列預定義的數據收集器，用於在訓練過程中從環境中收集數據。
-
replay buffers（經驗回放緩衝區）：經驗回放緩衝區用於存儲從環境中收集到的數據，以供模型訓練時使用。經驗回放緩衝區通常具有固定大小，並使用循環隊列來管理數據。在 TorchRL 中，經驗回放緩衝區模塊提供了一系列預定義的經驗回放緩衝區，例如簡單的數組緩衝區、優先級經驗回放緩衝區等。
強化學習的訓練過程#
訓練過程中的幾個關鍵步驟，包括：
-
定義超參數：首先，我們需要定義一組超參數，這些超參數將在訓練過程中使用。超參數包括學習率、批量大小、優化器類型等。
-
創建環境：接下來，我們將創建環境或模擬器，用於模擬智能體與外部世界的交互。我們可以使用 TorchRL 提供的包裝器和轉換器來創建環境，以便與我們的模型進行交互。
-
設計策略網絡和值函數模型：策略網絡和值函數模型是強化學習中的兩個關鍵組件。策略網絡用於確定智能體在給定狀態下選擇動作的概率分佈，而值函數模型用於估計狀態或狀態 - 動作對的值。這些模型將作為損失函數的一部分，因此需要在訓練之前進行配置。
-
創建經驗回放緩衝區和數據加載器：經驗回放緩衝區用於存儲智能體在與環境交互過程中收集到的經驗數據，而數據加載器用於從經驗回放緩衝區中加載數據並準備用於訓練。
-
運行訓練循環並分析結果：最後，我們將運行訓練循環，並分析訓練過程中的結果。我們可以觀察到模型的性能如何隨著訓練次數的增加而改變，以及模型在解決任務上的表現如何。